要在我自己的服务器上运行 Watson OpenScale，需要多大的计算机处理能力？

三节点配置和六节点配置各有特定的硬件配置准则。 IBM 技术销售团队也可以帮助您调整特定配置的大小。 由于Watson OpenScale是作为IBM Cloud Pak for Data附加组件运行的，因此您需要考虑这两个软件产品的要求。

Watson OpenScale 为何需要访问训练数据？

必须授权 Watson OpenScale 访问存储在 Db2 或 IBM Cloud Object Storage 中的训练数据，否则必须运行 Notebook 来访问训练数据。

因为下列原因，Watson OpenScale 需要访问训练数据：

• 要生成本地可解释模型-不可知解释 (LIME) 和 Contrastive 解释: 要创建解释，需要从训练数据访问统计信息，例如中值，标准差和不同值。
• 显示训练数据统计信息：要填充偏差详细信息页面，Watson OpenScale 必须要有从中生成统计信息的训练数据。
• 构建漂移检测模型：漂移监视器使用训练数据来创建和校准漂移检测。

在基于 Notebook 的方法中，您应该在 Watson OpenScale 中配置部署时上载统计信息和其他信息。 Watson OpenScale 不再能够访问位于环境中运行的 Notebook 外部的训练数据。 它只能访问配置期间上载的信息。

是否有可供使用的命令行工具？

是的！ 有 ModelOps CLI 工具，其正式名称为 Watson OpenScale CLI 模型操作工具。 使用此工具可以运行与机器学习模型的生命周期管理相关的任务。

什么版本的 Python 可以与 Watson OpenScale 配合使用？

因为 Watson OpenScale 独立于模型创建过程，它支持机器学习提供程序所支持的任何 Python 版本。 Watson OpenScale Python 客户端是一个 Python 库，可直接与 IBM Cloud 上的 Watson OpenScale 服务一起使用。 有关最新版本信息，请参阅“需求”部分。 您可使用 Python 客户机（而不是 Watson OpenScale 客户机 UI）直接配置日志记录数据库、绑定机器学习引擎，以及选择和监视部署。 有关以这种方式使用 Python 客户端的示例，请参阅 Watson OpenScale 样本 Notebook。

我可以使用哪些浏览器来运行 Watson OpenScale?

Watson OpenScale 服务工具需要 IBM Cloud 所需的相同级别的浏览器软件。 请参阅 IBM Cloud 先决条件主题以获取详细信息。

配置模型需要有关训练数据位置的信息，选项包括 Cloud Object Storage 和 Db2。 如果该数据在 Netezza 中，Watson OpenScale 可以使用 Netezza 吗？

使用此 Watson OpenScale Notebook 从 Netezza 读取数据，并生成训练统计数据以及漂移检测模型。

为什么 Watson OpenScale 无法查看对模型进行的更新?

Watson OpenScale 使用模型的部署，而非该模型本身。 您必须创建新部署，然后在 Watson OpenScale 中，将这个新部署配置为新预订。 通过这种安排，就可以对该模型的两个版本进行比较。

使用 Watson OpenScale 如何缓解模型偏差？

Watson OpenScale 中的除偏功能是企业级功能。 该功能稳健、可伸缩，并可以处理各种模型。 Watson OpenScale 中的除偏由两个步骤的过程组成。

1. 学习阶段: 学习客户模型行为，以了解何时以有偏见的方式行事。
2. 应用阶段：识别客户模型在特定数据点的行为是否有偏差，如果需要，可纠正偏差。 有关更多信息，请参阅 查看无偏事务。

是否可以按种族和性别等敏感属性检查模型是否有偏差，即使模型未按这些属性进行训练也是如此？

是。 最近，Watson OpenScale 已发布称为“间接偏差检测”的突破性功能。 使用该功能可以检测模型在敏感属性上是否间接出现偏差，即使该模型未按这些属性进行训练也是如此。 有关更多信息，请参阅 查看无偏事务。

是否可以通过 API 来配置模型公平性？

可以，您可使用 Watson OpenScale SDK 进行配置。 有关更多信息，请参阅 IBM Watson OpenScale Python SDK 文档。

使用机器学习模型会带来哪些风险？

与机器学习模型关联的多种风险，例如输入数据中的任何更改 (也称为漂移) 都可能导致模型做出不准确的决策，从而影响业务预测。 可以清除训练数据以避免偏差，但运行时数据可能会诱发模型的偏差行为。

传统的统计模型容易解释和说明，但无法解释机器学习模型结果可能会给模型的使用造成严重威胁。

有关更多信息，请参阅 管理模型风险。

Watson OpenScale 能否检测到准确性漂移和数据漂移？

Watson OpenScale 可以检测到准确性漂移和数据漂移：

• 准确性漂移用于估算模型准确性在运行时的下降情况。 与模型在训练数据中未正确评估的事务类似的事务增加时，模型准确性就会下降。 仅对于结构化二元分类模型和多类分类模型，才会计算此类漂移。
• 数据漂移估计运行时数据的一致性与训练时数据的特征相比下降。

Watson OpenScale 会显示哪些类型的解释？

Watson OpenScale 提供基于 LIME ，对比解释和 SHAP 解释的本地解释。 有关更多信息，请参阅 查看可解释性。

什么是 Watson OpenScale 中的假设情况分析？

说明 UI 还提供了测试假设情况场景的功能。 例如，用户可以更改输入数据点的特征值，并检查其对模型预测和概率的影响。

哪些模型支持 LIME 解释?

以下类型的模型支持 Watson OpenScale中的 LIME 解释:

• 结构化回归和分类模型
• 非结构化文本和图像分类模型

哪些模型支持对比解释和假设情况分析?

对于仅使用结构化数据和分类问题的模型，支持对比解释和假设情况分析。

在 Watson OpenScale 可解释性配置中有哪些可控特征？

利用可控特征可以锁定输入数据点的某些特征，以使它们在对比说明的生成过程中不会改变，而且在假设情况分析中也不可改变。 不应更改的特征应在可解释性配置中设置为不可控或 NO。

在 Watson OpenScale 中配置机器学习提供程序时，预生产预订和生产预订之间有何区别？

在将模型投入生产之前，模型验证者可以使用预生产服务提供者来配置和验证该模型。 Watson OpenScale 可以将机器学习提供程序指定为生产前处理的一部分，您可以在其中执行风险评估。 在该模型达到质量标准后，您就可以将该模型送生产。 您可以将不同的机器学习提供程序分别用于预生产和生产，也可以使用同一机器学习提供程序的不同实例，以使预生产环境与生产环境保持分离。

我是否必须一直监视 Watson OpenScale 仪表板以确保模型行为符合预期？

否，您可以在 Watson OpenScale中为生产模型部署设置电子邮件警报。 只要风险评估测试失败，就会发送电子邮件警报，然后您可以来检查问题并解决这些问题。

在对模型进行风险评估并核准使用后使用 Watson OpenScale 的生产前环境中，我是否必须在生产环境中重新配置所有监视器?

不必如此，Watson OpenScale 提供有将预生产预订配置复制到生产预订的方法。 有关更多信息，请参阅 管理模型风险。

在 Watson OpenScale 中，是否可以将预生产阶段的模型部署与基准模型进行比较，以了解其优劣？

是的， Watson OpenScale 为您提供了用于比较两个模型部署或预订的选项。 您可以在配置的每个监视器上并排查看两个模型的行为比较。 要进行比较，请转至 Watson OpenScale 仪表板上的模型摘要页面，然后选择 Actions -> Compare。 有关更多信息，请参阅 查看评估结果。

在 Watson OpenScale 中，哪些数据用于计算质量指标？

质量指标是使用手动标注的回馈数据以及该数据的受监视部署响应来计算。

在 Watson OpenScale 中，为何某些配置选项卡处于禁用状态？

某些条件会启用特定的选项卡。 通过将鼠标指针悬停在选项卡上的圆形图标上，可以查看该选项卡未启用的原因。

为何要关注模型准确性漂移或数据漂移？

模型准确性或数据一致性的下降会对该模型的相关业务结果造成负面影响，必须通过重新训练模型加以解决。

IBM Watson OpenScale 可以检测到哪些不同类型的漂移？

Watson OpenScale 可以检测到模型准确性漂移和数据漂移。

在 Watson OpenScale 中如何计算准确性下降，即模型准确性漂移？

Watson OpenScale 通过创建代理模型（也称为漂移检测模型）来了解模型的行为。 它会检查训练数据，以及模型根据训练数据做出预测的方式。

有关更多信息，请参阅漂移检测。

在 IBM Watson OpenScale 中如何计算数据一致度下降？

IBM Watson OpenScale 在配置时了解训练数据的单列和双列约束或边界。 然后，它会分析所有的有效内容事务，以确定哪些事务导致数据一致性下降。 有关更多信息，请参阅 漂移度量。

Watson OpenScale 是否可以检测到按文本文集训练的模型中的漂移？

目前，Watson OpenScale 无法检测到基于文本的模型中的漂移。

Watson OpenScale 是否可以检测到按图像数据训练的模型中的漂移？

目前，Watson OpenScale 无法检测到基于图像的模型中的漂移。

Watson OpenScale能否检测部署在IBM watsonx.aiRuntime 上的Python函数中的漂移？

Watson OpenScale 可以检测在结构化数据集上训练的 Python 函数的漂移。 不支持在文本或图像数据集上训练的 Python 函数。 python 函数的评分输出必须包括预测列和概率列，其中包含分类问题的所有类概率。

父主题: 使用 Watson OpenScale评估 AI 模型