Go back to the English version of the documentation通过自动设置配置模型评估
通过自动设置配置模型评估
Last updated: 2024年10月28日
机器学习模型评估的自动设置选项可为您设置机器学习环境、数据库和样本模型。 按照导览中的步骤，了解如何评估样本模型。 设置完成后，您可以将自己的模型添加到仪表板。
样本模型
自动设置使用样本数据集《德国信贷风险》来演示模型评估的主要特征。
样本数据概述
"德国信用风险" 样本数据为用于训练样本模型的银行客户提供记录集合。 它包含每个贷款申请人的 20 个属性。 在自动设置过程中供应的样本模型将经过训练，以预测新客户的信用风险级别。 可以对预测中考虑的两个属性 (性别和年龄) 进行偏差测试，以确保结果与客户的性别或年龄一致。
为了评估结果，结果分为几组。 参考组是被认为最有可能产生积极结果的组。 在这种情况下，参考组是男性客户和 25 岁以上的客户。 受监视组是要复审的组，以确保结果与受监视组的结果没有很大差异。 在这种情况下，受监视组是 19-25 岁的女性和客户。
运行自动设置
遵循以下步骤运行自动设置:
- 启动 Watson OpenScale。
- 选择 自动设置 选项。
此过程大约需要 10 分钟才能完成。 在设置期间配置了三个部署:
| 模型 | 绑定 | 描述 |
|---|---|---|
| GermanCreditRiskModelPreProd | 预生产，已核准 | 此部署表示正在内部环境中评估的当前已核准模型。 |
| GermanCreditRiskModelChallenger | 预生产 | 部署参选者模型是为了将性能和其他属性与已核准的生产前模型部署进行比较。 |
| GermanCreditRiskModel | 生产 | 在已核准的预生产模型与参选者模型之间，将为生产选择提供更有利的结果的模型，并从生产空间进行部署。 |
设置完成后，请跟随导游了解模型评估的功能。
导览要点
导游演示了以下功能:
- 用户界面 (UI) 简介: UI 的四个主要区域包括 Insights ，说明，配置和支持。
- 监视和查看德国信用风险模型的结果: 使用预定义的监视器来评估模型的公平性，质量和漂移。 您还可以使用定制监视器进行模型评估。
- 浏览公平性监视器: 使用公平性监视器从模型中查找有偏差的结果。 如果发现公平性问题，那么将根据可配置阈值触发警报。
- 浏览数据集: 在均衡数据集，有效内容数据集，训练数据集和无偏数据集之间切换，以了解它们如何影响模型的公平性分数。
- 事务简介: 查看有效内容数据集中的事务以了解组偏差和个别偏差。
- 解释模型结果: 了解导致模型预测在模型中建立信任的功能。 此外，了解如何更改特征值以获得更有利的模型结果。
- 浏览漂移监视器: 使用漂移监视器来确定模型中数据的处理是否导致准确性下降。
- 复审事务: 复审事务列表以调查准确性下降。
浏览特定页面
要将自动设置指导教程用于特定页面，请执行以下步骤:
- 打开要遵循引导式教程的页面。
- 打开 支持 选项卡，然后选择 浏览此页面。
重置导览
要重置自动设置教程，请打开 支持 选项卡，然后选择 重置自动设置。
了解更多信息
父主题： 模型评估的设置选项