在评估机器学习模型时，您可以使用IBM watsonx.aiRuntime 执行有效载荷日志、反馈日志，并测量性能准确性、运行时偏差检测、漂移检测、可解释性和自动纠偏功能。
评估机器学习模型支持以下IBM watsonx.aiRuntime 框架：
表 1. 框架支持详细信息
| 框架 | 问题类型 | 数据类型 |
|---|---|---|
| AutoAI1 | 分类（二元和多类） | 结构化（数据、文本） |
| AutoAI | 回归 | 结构化或非结构化2（仅文本） |
| Apache Spark MLlib | 分类 | 结构化或非结构化2（仅文本） |
| Apache Spark MLLib | 回归 | 结构化或非结构化2（仅文本） |
| Keras 带有 TensorFlow3&4 | 分类 | 非结构化2（图像、文本） |
| Keras 带有 TensorFlow3&4 | 回归 | 非结构化2（图像、文本） |
| Python 函数 | 分类 | 结构化（数据、文本） |
| Python 函数 | 回归 | 结构化（数据、文本） |
| scikit-learn5 | 分类 | 结构化（数据、文本） |
| scikit-learn | 回归 | 结构化（数据、文本） |
| XGBoost6 | 分类 | 结构化（数据、文本） |
| XGBoost | 回归 | 结构化（数据、文本） |
1要了解有关 AutoAI 的更多信息，请参阅 AutoAI 实现详细信息。 对于在 Cloud Object Storage 中具有训练数据的模型，不支持布尔类型的公平性属性。 但是，如果训练数据在Db2 中，模型评估则支持布尔类型的公平属性。 使用AutoAI选项时，如果模型预测是二进制数据类型，则不支持模型评估。 您必须更改此类模型，以便其预测的数据类型为字符串数据类型。
2对于非结构化（图像或文本）数据类型，不支持公平性和漂移指标。
3Keras 支持不包含对公平性的支持。
4如果您的模型/框架会输出预测概率，那么支持可解释性。
5要生成漂移检测模型，必须在 Notebook 中使用 scikit-learn V 1.3.2 。
6对于 XGBoost 二进制和多个类模型，必须更新模型以返回二进制模型的数值形式的预测概率，以及多类模型的每个类的概率列表。 Support for the XGBoost framework has the following limitations for classification problems: For binary classification, the binary:logistic logistic regression function with an output as a probability of True is supported for model evaluations. 对于多类分类，支持使用 "multi:softprob函数进行模型评估，其结果包含每个数据点属于每一类的预测概率。
AutoAI 模型和训练数据
AutoAI 自动准备数据，应用算法或估计量，并构建最适合您的数据和用例的模型管道。 要对模型进行评估分析，就必须获取训练数据。
由于AutoAI模型评估无法像普通模型那样检测到训练数据位置，因此必须明确提供访问训练数据位置所需的详细信息：
- 对于在其中手动配置监视器的联机路径，必须提供可从中访问训练数据的数据库详细信息。
- 对于您在其中上载训练数据分布的定制 Notebook 路径，可以使用通过运行 Notebook 所生成的 JSON 文件。
有关更多信息，请参阅提供模型详细信息。
指定IBM watsonx.aiRuntime 服务实例
配置模型评估的第一步是指定一个IBM watsonx.aiRuntime 实例。 您的watsonx.aiRuntime 实例是您存储人工智能模型和部署的地方。
先决条件
您应该在模型评估服务实例所在的同一帐户或群集中配置了IBM watsonx.aiRuntime 实例。 如果您在其他帐户或群集中配置了IBM watsonx.aiRuntime 实例，则无法为该实例配置模型评估的自动有效负载日志。
连接watsonx.aiRuntime 服务实例
您可以连接到IBM watsonx.aiRuntime 实例中的人工智能模型和部署，以进行模型评估。 要连接服务，请转到配置"
选项卡，添加机器学习提供程序，然后点击编辑"
图标。 除了名称和描述以及这是预生产还是生产环境类型之外，还必须提供特定于此服务实例类型的以下信息：
- 如果有IBM watsonx.aiRuntime 实例，则会检测到该实例以及配置信息。
上级主题: 受支持的机器学习引擎，框架和模型