在部署空间中配置 watsonx.governance 评估，以获取有关模型性能的洞察。 配置评估时，可以直接在空间中分析评估结果和对事务记录建模。
watsonx.governance 评估模型部署，以帮助您测量性能并了解模型预测。 配置模型评估时， watsonx.governance 会为每个评估生成度量值，以提供您可以查看的不同洞察。 watsonx.governance 还会记录评估期间处理的事务，以帮助您了解如何确定模型预测。 有关更多信息，请参阅 使用 Watson OpenScale。
如果供应了 watsonx.governance 实例，那么可以无缝创建联机部署，然后监视部署结果以获取公平性，质量，漂移和可解释性。
典型场景遵循以下顺序:
- 创建部署空间并将 watsonx.governance 实例与该空间相关联，以启用所有监视功能。 您可以根据需求选择空间类型，例如生产或预生产。
- 将经过训练的机器学习模型和输入 (有效内容) 数据提升到部署空间，并为该模型创建联机部署。
- 从 "部署测试" 选项卡中，提供输入数据并返回预测。
- 从 "评估" 选项卡中，配置评估以监视部署的质量，公平性和可解释性。 提供所有必需的模型详细信息，以便 Watson OpenScale 可以连接到模型，训练和有效内容数据以及用于存储评估结果的存储库。
- 配置公平性监视器以确保模型生成无偏结果。 选择要监视公平性的字段，然后设置阈值以测量受监视组相对于参考组的预测。 例如，您可以评估模型以确保它提供基于性别的无偏预测。
- 配置质量监视器，以根据模型根据标注的测试数据 (称为反馈数据) 生成的正确结果数来确定模型性能。 设置质量阈值以在度量值超出可接受范围时进行跟踪。
- 配置漂移监视器以确保部署是最新且一致的。 使用特征重要性来确定特征漂移对模型的影响。 例如，与不太重要的特征中的适度漂移相比，重要特征中的少量漂移会对模型产生更大的影响。
- 您可以监视部署结果的可解释性，以了解导致模型确定预测的因素。 选择最适合您需求的解释方法。 例如，您可以选择 SHAP (Shapley Additive EXplanations) 方法进行彻底解释，或者选择 LIME (局部可解释模型-不可知解释) 方法进行更快的解释。
- 最后，您可以检查模型评估以查找对几个输入进行少量更改将导致不同决策的区域。 用于确定更改输入是否可以提高模型性能的测试方案。
以下部分描述了如何在部署空间中配置 watsonx.governance 评估和复审模型洞察:
准备评估空间中的模型
如果您没有与 watsonx.governance 实例关联的数据库，那么必须先关联数据库，然后才能运行评估。 要关联数据库，还必须在 " 所需数据库 " 对话框中单击 关联数据库 以连接到数据库。 必须为您分配项目和 watsonx.governance 实例的 管理员 角色，才能关联数据库。
在空间中配置 Watson OpenScale 评估
关联 Watson OpenScale 实例后，可以选择部署以查看可用于配置评估和复审模型洞察的 评估 和 事务 选项卡。 要开始在空间中配置模型评估，可以选择 配置 OpenScale 评估设置 以打开向导，该向导提供了一系列指导步骤。
只能在部署空间中评估联机部署。
提供模型详细信息
要配置模型评估，必须提供模型详细信息以启用 watsonx.governance 来了解模型的设置方式。 您必须提供有关训练数据和模型输出的详细信息。
有关更多信息，请参阅 提供模型详细信息。
配置可解释性
您可以在 watsonx.governance 中配置可解释性，以揭示哪些功能有助于您的模型为事务预测的结果，并预测哪些更改将导致不同的结果。 您可以选择配置局部解释以分析特定模型事务的因子影响，并配置全局解释以分析影响模型结果的一般因子。
有关更多信息，请参阅 配置可解释性。
配置公平性评估
您可以配置公平性评估，以确定模型是否为不同组生成有偏差的结果。 要配置公平性评估，您可以指定期望表示有利结果的参考组以及要使用的公平性指标。 您还可以选择与参考组进行比较的功能，以评估它们是否存在偏差。
有关更多信息，请参阅 配置公平性评估。
配置质量评估
您可以配置质量评估以了解模型预测准确结果的情况。 要配置质量评估，必须为每个度量指定阈值，以启用 watsonx.governance 来识别模型质量下降的时间。
有关更多信息，请参阅 配置质量评估。
配置漂移 v2 评估
您可以配置漂移 v2 评估，以测量一段时间内数据中的更改，从而确保模型获得一致的结果。 要配置漂移 v2 评估，必须设置启用 watsonx.governance 的阈值以识别模型输出中的更改，预测的准确性以及输入数据的分布。 您还必须选择重要功能部件以启用 watsonx.governance 来度量值分布中的更改。
有关更多信息，请参阅 配置漂移 v2 评估。
配置漂移评估
您可以配置漂移评估以启用 watsonx.governance 来检测模型中的准确性和数据一致性下降。 要配置漂移评估，必须设置阈值以启用 watsonx.governance 来为模型建立准确性和一致性基线。
有关更多信息，请参阅 配置漂移评估。
运行评估
配置评估后，可以关闭向导以运行评估。 要运行评估，必须在 评估 选项卡上的 操作 菜单中选择 立即评估 以 发送模型事务。
审查评价结果
您可以在 评估 选项卡上分析评估结果，以获取有关模型性能的洞察。 要分析评估结果，可以单击评估部分中的箭头 
，或者使用 操作 菜单来查看有关模型的详细信息。
有关更多信息，请参阅 查看评估结果。
复审模型事务
您可以在 事务 选项卡上分析模型事务，以了解模型如何预测结果并预测可能导致不同结果的更改。 要分析事务，您可以选择查看提供有关如何确定模型预测的详细信息的说明。
有关更多信息，请参阅 说明模型事务。
父主题: 管理预测性部署