漂移评估可检测模型准确性和数据一致性的下降。 如果与模型在训练数据中未正确评估的事务类似的事务有所增加，那么模型准确性会下降。
漂移评估示例
配置漂移时，必须指定可容忍的精度漂移幅度。 与训练时的模型准确性相比，漂移测量为准确性下降。 例如，如果在训练时模型准确性为 90% ，而在运行时模型的估计准确性为 80% ，那么该模型被认为漂移了 10%。 根据用例，模型所有者将愿意容忍不同数量的漂移。 您可以为每个模型评估指定精度漂移幅度。 如果模型的漂移低于指定阈值，那么将生成警报。
如果数据不超过 500 MB，就可以在线训练模型。 否则，必须使用 Notebook 来训练模型。
准备工作
您必须先配置漂移检测，然后才能分析模型。 您可以使用用户界面或通过在 Notebook 中运行代码来在线训练漂移检测模型。 仅结构化数据支持漂移配置。 分类模型同时支持数据漂移和准确性漂移，回归模型仅支持数据漂移。
以下是配置漂移监视器的需求:
- Machine Learning提供程序必须是watsonx.aiRuntime
- 训练数据大小必须小于 500MB
- 训练数据必须托管在IBM Cloud Object StorageDb2 中。
要上载训练数据并设置 模型详细信息 以进行漂移检测，请执行以下操作:
- 单击 上载训练数据 ，然后上载带有标签数据的文件。
有关详细信息，请参阅 提供模型详细信息。
在整个过程中，我们会对您的模型进行分析，并根据最合理的结果提出建议。 要使漂移检测正常工作，训练数据中预测列的数据类型必须与有效内容数据中相同列的数据类型匹配。 将匹配的字符串或数字类型分配给预测和标签列。 要确认数据类型，请单击模型详细信息 > 模型输出详细信息 > 编辑。 这些选择可确保您有准确的信息用于以下配置步骤。 如果由于某些原因必须更改数据类型，那么必须重新部署评估以影响更改。
在漂移选项卡的连续页面上，必须提供以下信息：
警报阈值
仅分类类型模型需要：模型准确度的变化程度与训练时的准确度进行比较。 警报阈值（必须至少为 5%）指示对随时间推移的变化的容许程度。
样本大小
通过设置最小样本大小，可阻止测量漂移，直至评估数据集内有最小数量的记录可用为止。 此设置可确保样本大小不会太小而使结果发生偏差。 每次运行漂移检查时，会使用最小样本大小来决定对其执行计算的记录数。
配置漂移评估的步骤
如果使用IBM watsonx.aiRuntime，可以配置漂移检测。
要启动配置过程，请从 漂移 选项卡的 漂移模型 框中单击 编辑 
图标。
选择培训选项并按提示输入所需信息。 完成时，您所做选择的摘要随即显示，以供您复查。 如果要更改任何内容，请单击该部分的编辑图标。 否则，请保存您的工作。
配置漂移而不重新训练的步骤
重新配置漂移评估，而不重新训练漂移模型以更新参数，而无需更多处理。 更新最小样本大小和阈值，以在当前经过训练的模型上生成更多数据而不带来更多处理开销。 这种方式可在底层数据稳定并且您希望查看不同阈值的漂移量级时避免过高的 CPU 使用率。
注: 仅当训练数据或模式更改时，漂移模型才需要重新训练。
要启动配置过程，请从 漂移 选项卡的 漂移阈值 框或 样本大小 框中单击 编辑 。 更新当前设置并将其保存。
使用 Notebook 配置漂移的步骤
在以下情况下使用 Notebook 配置漂移：
- 您不希望共享训练数据来配置漂移评估
- 您无法共享Db2或IBM Cloud Object Storage 上的训练数据，而这是漂移评估仅支持的两个训练数据位置。
如果训练数据不存储在 Db2 或 IBM Cloud Object Storage 中，此选项很有用。 使用 Notebook 时，必须将训练数据读取到数据框中。 您可以下载专门的笔记本，然后创建专门的输出，并将其上传到配置漂移评估中。
要生成漂移检测模型，您可以运行用于安装 ibm-wos-utils>=5.0.1.0 软件包和 sci-kit 学习版本 1.3.2的单元。 构建模型需要 scikit-learn V 1.3.2 。
创建一个笔记本，使用样本笔记本生成漂移检测模型。 漂移检测模型会转换为 .tar.gz 文件。
要启动配置过程，请从 漂移 选项卡的 漂移模型 框中单击 编辑 。 使用在资料科学 Notebook 中训练选项。 可以将压缩漂移检测模型拖动到放置区。
请按提示进行操作，并输入所需的信息。 完成时，您所做选择的摘要随即显示，以供您复查。 如果要更改任何内容，请单击该部分的 编辑 。 否则，请保存您的工作。
了解更多信息
父主题: 配置模型评估