0 / 0
Go back to the English version of the documentation
Watson OpenScale 质量指标中的准确性
Last updated: 2024年10月07日
Watson OpenScale 质量指标中的准确性

准确性是 Watson OpenScale中模型内正确预测所占比例的度量。

准确性概览

  • 描述:正确预测的比例
  • 缺省阈值:下限 = 80%
  • 缺省建议
    • 上升趋势:上升趋势表明指标不断改善。 这表示模型重新训练有效果。
    • 下跌趋势:下跌趋势表明指标不断恶化。 回馈数据正变得与训练数据明显不同。
    • 不稳定或不规则变化:不稳定或不规则变化表明回馈数据在评估之间不一致。 请增加质量监视器的最小样本大小。
  • 问题类型:二元分类和多类分类
  • 图表值:时间范围中的最后一个值
  • 可用的指标详细信息:混淆矩阵

理解准确性

根据算法类型,准确性可以表示不同的含义:

  • 多类分类:准确性测量了正确预测任何类别的次数,按数据点数量进行标准化。 有关更多详细信息,请参阅 Apache Spark 文档中的 Multi-class classification

  • 二元分类:对于二元分类算法,准确性测量为受试者工作特征曲线下面积。 请参阅 Apache Spark 文档中的 二元分类,以获取更多详细信息。

  • 回归: 使用 "确定的系数" 或 R2来测量回归算法。 有关更多详细信息,请参阅 Apache Spark 文档中的 Regression model evaluation

数值计算

准确性定义为真正数和负数除以真正数和负数之和以及假正数和负数之和。

                                     number of true positives + number of true negatives
Accuracy =   ________________________________________________________________________________________________________________

              (number of true positives + number of true negatives + number of false positives + number of false negatives)

运作方式

您需要使用 Python 客户机Rest API通过 Watson OpenScale UI 手动添加带标签的反馈数据,如以下示例中所示。

无偏准确性

有支持数据时,准确性会同时在原始模型和无偏模型上进行计算。 IBM Watson OpenScale 计算去偏差输出的准确性,并将其作为额外列存储在有效内容日志记录表中。

了解更多信息

查看质量结果

父主题: 质量度量概述

Generative AI search and answer
These answers are generated by a large language model in watsonx.ai based on content from the product documentation. Learn more