0 / 0
Go back to the English version of the documentation
使用 AI Factsheets 跟踪模型
Last updated: 2024年7月16日
使用 AI Factsheets 跟踪模型

将模型清单与 AI Factsheets 配合使用,以在 AI Governance 策略中为组织组织机器学习模型。 您可以为要跟踪的每个模型创建用例,然后从目录中的库存页面查看详细信息。 使用过滤器来优化视图。 例如,仅查看处于已核准状态的模型用例。

要查看模型库存,请从导航窗格的 "目录" 部分中选择 "模型库存"。

使用模型用例

在模型库存中,您可以执行以下操作:

创建模型用例

创建模型用例以跟踪模型的生命周期。

  1. 在导航窗格中,单击 "目录" 部分,然后单击 "模型库存"。
  2. 单击 新建模型用例 ,然后输入名称和描述。
  3. 选择包含模型用例的目录。
  4. 创建用例后,可以指定额外的详细信息,例如 "模型用途" , "业务术语" 或 "支持文档"。

查看模型用例详细信息

模型清单包含模型用例,这些用例将提供有关支持监管的模型生命周期,用途和事实的详细信息。 对于每个模型用例,您可以查看:

  • 模型用例名称。
  • 模型用例的状态。 例如,模型可能处于“等待开发”、“审核中”或“生产中”状态。
  • 与模型用例关联的业务术语。
  • 可用于模型用例的标记。

有关每个模型所包含内容的完整详细信息,请参阅查看模型和部署事实表

更改模型用例的状态

您可以更改模型用例的状态以反映模型生命周期中的更改。 例如,您可以在确认模型已经过充分测试后,将模型的状态从 已部署以进行验证 更改为 已验证

要更改模型用例的状态,请执行以下操作:

  1. 在模型清单中打开模型用例。
  2. 切换到 资产 选项卡。
  3. 单击 "编辑" 图标 编辑图标
  4. 选择新状态,然后单击 更新 以保存。

模型用例将显示在新状态类别中。

删除模型用例

要从库存中删除模型用例,请从模型用例磁贴上的操作项中单击 除去 。 将从库存中除去模型用例,并且将删除与项目或空间中的模型的所有关联。

查看警报

评估模型时,您可以设置阈值以在达到阈值时触发警报。 例如,您可以设置在受监视组的偏差检测值更改 10% 时触发的警报。 您可以从模型用例查看模型的警报。

如果任何模型部署具有警报,那么警报将作为模型用例上的标记显示在模型库存中。 从模型库存页面的模型用例上的操作菜单项中选择 预览警报 以查看警报的详细信息。

查看模型事实表

从库存中的模型用例的模型跟踪页面,单击 资产 选项卡以查看关联的构面表。 在项目,空间或目录中查看模型详细信息时,还可以查看外观表。 有关详细信息,请参阅查看模型事实表

注册模型后,将在模型生命周期中的每个点自动捕获并保留有关模型的事实,包括每次更新或更改模型时。 例如,当模型处于以下状态时,将捕获事件:

  • 已创建
  • 以任何方式更新,包括修改标记或描述
  • 提升到空间
  • 已发布到目录
  • 已使用部署进行测试
  • OpenScale 中评估的生命周期

无需用户干预即可更新概况介绍。

此外,在笔记本中启动 IBM AI 治理事实客户端库 (AIGovFactsClient) 后,笔记本中的模型事实将被保留。 从此时开始,将自动保留生命周期元数据和度量值。

查看部署事实表

从库存中的模型用例的模型详细信息页面,单击 资产 选项卡以查看关联的构面表。 您还可以在查看空间中的部署详细信息时查看事实表。 有关详细信息,请参阅查看模型事实表

跟踪详细信息

启用跟踪时,将通过对模型或相关资产执行的操作来触发事实记录。 类似地, AI 生命周期中的更改将控制模型在模型用例中的显示位置,以显示从开发到操作的过程。 例如,在项目中保存模型时,该模型将显示在 "开发" 支柱中。 将模型提升到空间时,将更新用例以在 "测试" 支柱中显示模型,依此类推。

模型位置 开发 测试 验证 操作
Project
空间
使用 "AIGovernance: 预生产" 标记的空间
使用 "AIGovernance: 生产" 标记的空间
Watson OpenScale 生产前
Watson OpenScale 生产

这些说明描述了生命周期组件之间的交互如何控制 Watson Machine Learning 在模型用例中的显示位置。

  • 将模型提升到空间时,该模型将显示在 "测试" 支柱中。 如果在 Watson OpenScale 中对该模型的部署进行评估并标记为预生产,那么该模型将显示在 "验证" 而不是 "测试" 中。 如果模型部署标记为生产而不是预生产,那么它将移至 "操作" 支柱。

  • 如果分配空间标记 AIGovernance: Pre-productionAIGovernance: Production,那么模型将分别显示在 "验证" 或 "操作" 支柱中。

    注: 如果在跟踪模型后将标记添加到空间中,那么此更改由导致对模型元数据进行更改 (例如,更新模型名称,描述或标记) 的操作触发。
  • 如果将模型提升到空间具有标记 AIGovernance: Pre-production的空间,那么该模型将显示在 "验证" 支柱中。 如果在 Watson OpenScale 中对该模型的部署进行评估并标记为预生产,那么该模型将显示在 "验证" 支柱中。 如果模型部署标记为生产而不是预生产,那么它将移至 "操作" 支柱。

  • 如果将模型提升到空间中具有标记 AIGovernance: Production的空间,那么该模型将显示在 "操作" 支柱中。 如果在 Watson OpenScale 中评估此模型的部署并将其标记为生产,那么它仍将位于 "操作" 支柱中。 但是,如果将其标记为 "生产前" ,那么它将显示在 "验证" 支柱中。

  • 如果未在 Watson OpenScale中评估模型部署,那么它将具有 Pending Evaluation 标记。 如果对模型部署进行求值,那么它将具有 Evaluated 标记。 如果在 Watson OpenScale中进行评估后核准模型部署,那么它将具有 Approved 标记。

了解更多信息

Generative AI search and answer
These answers are generated by a large language model in watsonx.ai based on content from the product documentation. Learn more