运行样本项目中包含的第二个 Notebook 以:

• 访存模型和部署。
• 配置 Watson OpenScale。
• 为机器学习服务创建服务提供者和预订。
• 配置质量监视器。
• 配置公平性监视器。
• 配置可解释性。

执行以下步骤以运行样本项目中包含的 Notebook。 此笔记本为您的模型设置监视器，也可以通过用户界面进行配置。 但是，使用 Notebook 对它们进行设置会更快，更不容易发生错误。 花一些时间阅读 Notebook 中的注释，这些注释说明了每个单元格中的代码。

1. 从导航菜单"，选择项目 > 查看所有项目。

2. 打开 AI Governance 项目。

   注: 您可能会看到一个指导式教程，其中显示了此用例随附的教程。 导览中的链接将打开这些教程指示信息。

3. 单击 "资产"选项卡，然后导航至笔记本。
   

4. 打开 2-monitor-wml-model-with-watson-openscale 笔记本。

5. 由于笔记本处于只读模式，单击 " 编辑图标将笔记本置于编辑模式。

6. 从资源中心导入项目时，此 Notebook 的第一个单元包含项目访问令牌。 如果此笔记本不包含具有项目访问令牌的第一个单元，那么要生成令牌，请从 更多 菜单中选择 插入项目令牌。 此操作将新单元作为包含项目令牌的 Notebook 中的第一个单元插入。

7. 在 插入 IBM Cloud API 密钥 部分下，将 API 密钥粘贴到 ibmcloud_api_key 字段中。

8. 单击 单元> 全部运行 以运行 Notebook 中的所有单元。 或者，如果要浏览每个单元及其输出，那么可以按单元运行 Notebook 单元。

9. 笔记本需要 1-3 分钟才能完成。 您可以通过将星号 "In [*]" 更改为数字 (例如， "In [1]") 的单元格来监视进度单元格。

10. 如果在 Notebook 运行期间迂到任何错误，请尝试以下故障诊断提示:

    • 单击 内核> 重新启动并清除输出 以重新启动内核，然后再次运行 Notebook。

    • 删除任何现有 Watson OpenScale 部署，并 供应 新的服务实例。

    • 验证您是否在 "构建和部署模型 "教程中创建了 AI 用例、部署空间和部署名称，方法是准确复制并粘贴指定的工件名称，且不留前导空格或尾部空格。

To preview this task, watch the video beginning at 03:40.

执行以下步骤以下载保留数据，并使用该数据在 Watson OpenScale中评估模型:

1. 单击导航路径中的人工智能治理项目。
   

2. 在 资产 选项卡上，单击 数据> 数据资产。

3. 点击 "溢出菜单中的 "，选择 "GoldenBank_HoldoutData.csv数据资产的 "下载。 要验证模型是否按需要工作，您需要一组从模型训练中保留下来的带标签数据。 此 CSV 文件包含该保留数据。

4. 启动 Watson OpenScale。 从导航菜单"，选择服务 > 服务实例。

5. 打开 Watson OpenScale 实例。 如果出现提示，请使用用于注册 Cloud Pak for Data的相同凭证登录。

6. 在 Watson OpenScale 服务实例页面上，单击 启动 Watson OpenScale。

7. 在 "洞察" 仪表板上，单击 抵押贷款审批模型部署 磁贴。

8. 从 操作 菜单中，选择 立即评估。

9. 从导入选项列表中，选择 从 CSV 文件。

10. 拖动金的Bank_HoldoutData.csv将您从项目下载的数据文件放入侧面板。

11. 单击 上载并评估。

To preview this task, watch the video beginning at 04:44.

Watson OpenScale 质量监视器会生成一组度量值，以评估模型的质量。 您可以使用这些质量指标来确定模型预测结果的良好程度。 当使用保留数据的评估完成时，请遵循以下步骤来观察模型质量或准确性:

1. 在左侧导航面板中，点击Insights 仪表板图标 "。

2. 找到 抵押贷款审批模型部署 磁贴。 请注意，部署存在 0 个问题，并且已通过 质量 和 公平性 测试，这意味着模型满足所需的阈值。

3. 单击 抵押贷款审批模型部署 磁贴以查看更多详细信息。

4. 在质量部分，点击配置图标 "。 在这里，您可以看到为此监视器配置的质量阈值为 70% ，并且所使用的质量测量是 ROC 曲线下的面积。

5. 单击 转至模型摘要 以返回到模型详细信息屏幕。

6. 在质量部分，单击详细信息图标，查看模型质量的详细结果。 在这里，您可以看到一些质量度量计算和一个混淆矩阵，其中显示了正确的模型决策以及误报和误报。 ROC 曲线下的计算面积为 0.9 或更高，这超过了 0.7 阈值，因此模型满足其质量要求。

7. 单击导航跟踪中的 抵押核准模型部署 以返回到模型详细信息屏幕。

To preview this task, watch the video beginning at 06:01.

Watson OpenScale 公平性监视器生成一组度量以评估模型的公平性。 您可以使用公平性指标来确定模型是否产生有偏差的结果。 遵循以下步骤来观察模型公平性:

1. 在公平性部分，点击配置图标 "。 在这里，您可以看到正在对该模型进行复审，以确保对申请人进行公平对待，而无论其性别如何。 妇女被确定为受监测群体，正在对其进行公平性衡量，公平性的门槛至少为 80%。 公平性监视器使用不同的影响方法来确定公平性。 不同影响将受监视组的有利结果百分比与参考组的有利结果百分比进行比较。

2. 单击 转至模型摘要 以返回到模型详细信息屏幕。

3. 在公平性部分，单击详细信息图标 "，查看模型公平性的详细结果。 在这里，您可以看到正在自动批准的男性和女性申请人的百分比，以及超过 100% 的公平性分数，因此模型性能远远超过所需的 80% 公平性阈值。

4. 请注意标识的数据集。 为了确保公平性指标最准确， Watson OpenScale 使用扰动来确定仅更改受保护属性和相关模型输入而其他功能保持不变的结果。 扰动将特征的值从参考组更改为受监视组，反之亦然。 当使用 "均衡" 数据集时，这些附加护栏用于计算公平性，但您也可以仅使用有效内容或模型训练数据来查看公平性结果。 由于模型的行为是公平的，因此您无需为此度量输入其他详细信息。

   

5. 单击 抵押核准模型部署 导航跟踪以返回到模型详细信息屏幕。

To preview this task, watch the video beginning at 07:42.

了解模型是如何做出决定的也很重要。 需要这种理解来向参与贷款审批的人员解释决策，并确保模型所有者的决策有效。 要了解这些决策，请执行以下步骤来观察模型可解释性:

1. 在左侧导航面板中，单击 "解释交易"图标 "。

2. 选择 抵押核准模型部署 以查看交易列表。

3. 对于任何事务，单击 操作 列下的 说明 。 在这里，您将看到此决策的详细说明。 您将看到模型的最重要输入以及每个输入对最终结果的重要性。 蓝色条形表示倾向于支持模型决策的输入，而红色条形显示可能导致另一个决策的输入。 例如，申请人可能有足够的收入可以通过其他方式获得批准，但他们的不良信用历史记录和高额债务共同导致模型拒绝申请。 查看此说明以了解模型决策的基础。

4. (可选) 如果要进一步深入了解模型如何作出其决策，请单击 检查 选项卡。 使用 检查 功能来分析决策以查找敏感度区域，在这些区域中，对几个输入的少量更改将导致不同的决策，并且您可以通过使用替代方法覆盖某些实际输入来自行测试敏感度，以查看这些更改是否会影响结果。

To preview this task, watch the video beginning at 09:21.

执行以下步骤以更改模型库存中 AI 用例的状态并核准模型:

1. 返回Cloud Pak for Data，从导航菜单"中选择目录 > 人工智能用例。

2. 打开 抵押贷款审批模型用例。

3. 单击 生命周期 选项卡以查看模型现在处于 验证 阶段。

4. 单击状态旁边的编辑图标 "，选择验证完成，然后单击更新。

5. 返回到 Watson OpenScale "洞察" 仪表板。

6. 单击 抵押贷款审批模型部署 磁贴。

7. 从 操作 菜单中，选择 批准生产，然后单击 批准。 此操作传达给 AI 操作团队，他们现在可以将模型部署到指定的生产空间。

8. 从导航菜单"，选择目录 > 人工智能用例。

9. 对于 " 抵押贷款核准模型用例" ，单击 查看详细信息。

10. 单击 生命周期 选项卡。 在 模型跟踪下， AI 用例现在显示为在 验证 阶段中评估并核准。

11. 查看 抵押贷款审批模型部署 ，以查看 Watson OpenScale捕获的 Factsheet。

12. 关闭模型部署构面。