将模型清单与 AI Factsheets 配合使用,以在 AI Governance 策略中为组织组织机器学习模型。 您可以为要跟踪的每个模型创建用例,然后从目录中的库存页面查看详细信息。 使用过滤器来优化视图。 例如,仅查看处于已核准状态的模型用例。
要查看模型库存,请从导航窗格的 "目录" 部分中选择 "模型库存"。
使用模型用例
在模型库存中,您可以执行以下操作:
创建模型用例
创建模型用例以跟踪模型的生命周期。
- 在导航窗格中,单击 "目录" 部分,然后单击 "模型库存"。
- 单击 新建模型用例 ,然后输入名称和描述。
- 选择包含模型用例的目录。
- 创建用例后,可以指定额外的详细信息,例如 "模型用途" , "业务术语" 或 "支持文档"。
查看模型用例详细信息
模型清单包含模型用例,这些用例将提供有关支持监管的模型生命周期,用途和事实的详细信息。 对于每个模型用例,您可以查看:
- 模型用例名称。
- 模型用例的状态。 例如,模型可能处于“等待开发”、“审核中”或“生产中”状态。
- 与模型用例关联的业务术语。
- 可用于模型用例的标记。
有关每个模型所包含内容的完整详细信息,请参阅查看模型和部署事实表。
更改模型用例的状态
您可以更改模型用例的状态以反映模型生命周期中的更改。 例如,您可以在确认模型已经过充分测试后,将模型的状态从 已部署以进行验证 更改为 已验证 。
要更改模型用例的状态,请执行以下操作:
- 在模型清单中打开模型用例。
- 切换到 资产 选项卡。
- 单击 "编辑" 图标 。
- 选择新状态,然后单击 更新 以保存。
模型用例将显示在新状态类别中。
删除模型用例
要从库存中删除模型用例,请从模型用例磁贴上的操作项中单击 除去 。 将从库存中除去模型用例,并且将删除与项目或空间中的模型的所有关联。
搜索或过滤以查找模型
- 使用搜索栏可按名称,标记,分类或业务术语搜索模型用例。
- 使用“模型库存”视图中的过滤器来优化列表。 您可以按警报 (例如漂移,公平性或质量方面的更改) ,业务术语,商品目录,分类,标记和状态进行过滤。
查看警报
评估模型时,您可以设置阈值以在达到阈值时触发警报。 例如,您可以设置在受监视组的偏差检测值更改 10% 时触发的警报。 您可以从模型用例查看模型的警报。
如果任何模型部署具有警报,那么警报将作为模型用例上的标记显示在模型库存中。 从模型库存页面的模型用例上的操作菜单项中选择 预览警报 以查看警报的详细信息。
查看模型事实表
从库存中的模型用例的模型跟踪页面,单击 资产 选项卡以查看关联的构面表。 在项目,空间或目录中查看模型详细信息时,还可以查看外观表。 有关详细信息,请参阅查看模型事实表。
注册模型后,将在模型生命周期中的每个点自动捕获并保留有关模型的事实,包括每次更新或更改模型时。 例如,当模型处于以下状态时,将捕获事件:
- 已创建
- 以任何方式更新,包括修改标记或描述
- 提升到空间
- 已发布到目录
- 已使用部署进行测试
- OpenScale 中评估的生命周期
无需用户干预即可更新概况介绍。
此外,在笔记本中启动 IBM AI 治理事实客户端库 (AIGovFactsClient) 后,笔记本中的模型事实将被保留。 从此时开始,将自动保留生命周期元数据和度量值。
查看部署事实表
从库存中的模型用例的模型详细信息页面,单击 资产 选项卡以查看关联的构面表。 您还可以在查看空间中的部署详细信息时查看事实表。 有关详细信息,请参阅查看模型事实表。
跟踪详细信息
启用跟踪时,将通过对模型或相关资产执行的操作来触发事实记录。 类似地, AI 生命周期中的更改将控制模型在模型用例中的显示位置,以显示从开发到操作的过程。 例如,在项目中保存模型时,该模型将显示在 "开发" 支柱中。 将模型提升到空间时,将更新用例以在 "测试" 支柱中显示模型,依此类推。
模型位置 | 开发 | 测试 | 验证 | 操作 |
---|---|---|---|---|
Project | ✓ | |||
空间 | ✓ | |||
使用 "AIGovernance: 预生产" 标记的空间 | ✓ | |||
使用 "AIGovernance: 生产" 标记的空间 | ✓ | |||
Watson OpenScale 生产前 | ✓ | |||
Watson OpenScale 生产 | ✓ |
这些说明描述了生命周期组件之间的交互如何控制 Watson Machine Learning 在模型用例中的显示位置。
将模型提升到空间时,该模型将显示在 "测试" 支柱中。 如果在 Watson OpenScale 中对该模型的部署进行评估并标记为预生产,那么该模型将显示在 "验证" 而不是 "测试" 中。 如果模型部署标记为生产而不是预生产,那么它将移至 "操作" 支柱。
如果分配空间标记
AIGovernance: Pre-production
或AIGovernance: Production
,那么模型将分别显示在 "验证" 或 "操作" 支柱中。注: 如果在跟踪模型后将标记添加到空间中,那么此更改由导致对模型元数据进行更改 (例如,更新模型名称,描述或标记) 的操作触发。如果将模型提升到空间具有标记
AIGovernance: Pre-production
的空间,那么该模型将显示在 "验证" 支柱中。 如果在 Watson OpenScale 中对该模型的部署进行评估并标记为预生产,那么该模型将显示在 "验证" 支柱中。 如果模型部署标记为生产而不是预生产,那么它将移至 "操作" 支柱。如果将模型提升到空间中具有标记
AIGovernance: Production
的空间,那么该模型将显示在 "操作" 支柱中。 如果在 Watson OpenScale 中评估此模型的部署并将其标记为生产,那么它仍将位于 "操作" 支柱中。 但是,如果将其标记为 "生产前" ,那么它将显示在 "验证" 支柱中。如果未在 Watson OpenScale中评估模型部署,那么它将具有
Pending Evaluation
标记。 如果对模型部署进行求值,那么它将具有Evaluated
标记。 如果在 Watson OpenScale中进行评估后核准模型部署,那么它将具有Approved
标记。
了解更多信息
- 了解有关 注册模型 或 查看模型用例和概况介绍的信息。
- 通过使用 IBM AI Governance Facts Client 库,以编程方式了解如何使用模型清单。
- 父主题: 管理模型资产的库存。