IBM 针对 IBM Watson OpenScale 提供了模型风险管理解决方案。 IBM Watson OpenScale 监视并测量 AI 模型在其整个生命周期中的结果并执行模型验证。

在 Watson OpenScale 中执行分析

设置并激活模型风险管理特征后，可以在 Watson OpenScale 中查看和比较样本评估。 有一个可下载的报告（模型摘要报告），其中包含所有质量测量、公平性测量和漂移量级。

1. 从“洞察”仪表板，单击模型部署磁贴

2. 从“操作”下拉框，单击以下某个分析选项：

   1. 评估后：列出评估的所有先前版本。
   2. 比较：比较任何模型，尤其是相同模型的各个版本，以实现最佳性能。
   3. 下载报告 PDF：生成模型摘要报告，其中包含所有指标以及对其进行如此评分的原因解释。

在 Watson OpenScale 中将新模型部署到生产

将最佳模型推送到生产。 通过从预生产模型导入来创建生产记录。 在 IBM OpenPages 中核准模型进行部署后，可以在 Watson OpenScale 中将模型发送到生产。

1. 查看模型部署的状态：
2. 返回到样本 Notebook 并运行各个单元以将模型发送到生产。
3. 现在，您可以查看生产模型部署磁贴。 在常规生产环境中，它初始显示为空，直到收集了足够数据并且触发指标计算的时间已过去为止。 对于本教程，Notebook 会添加数据并运行监视器，以便可以立即查看结果。

比较模型

通过 Watson OpenScale，可以在并排比较中查看关键指标来比较模型。 使用此功能可确定模型的哪个版本最适合发送到生产，或者哪个模型可能需要处理。

从操作菜单中，选择一个模型以与“MRM 摘要”仪表板中当前所显示内容进行比较。

立即评估

在预生产环境中，您可以用 CSV 文件形式上载测试数据、数据库表或云对象存储文件。 要使用 CSV 选项，请将 CSV 文件拖至下拉框。 要使用 Db2 或云存储选项，必须提供凭证。 上载数据后，可以通过针对模型评估新数据，立即查看结果。

在执行评估之前，通过设置正确的模式来确保已完全启用预订。

与数据库选项的连接是瞬态的。 稍后要执行评估，就必须重新输入连接信息。

将配置从预生产预订复制到生产预订

要节省时间，可以将配置和模型元数据从预生产预订复制到生产预订。 为此，该模型必须与源模型完全匹配，但部署到生产空间。

后续步骤

使用公平性分析来重新定义模型，可能是使用不同的算法。