评估部署以实现公平性时, Watson OpenScale 会从有效内容日志记录表中检测事务的直接偏差和 间接偏差 。
被动除偏
被动除偏是 Watson OpenScale 每个小时自动执行的工作。 称为“被动”是因为无需用户干预。 当 Watson OpenScale 检查是否存在偏差时,它还会取消对数据的偏差。 它会分析模型的行为,并识别模型针对哪些数据以存在偏见的方式运作。
然后,Watson OpenScale 会构建机器学习模型,以预测模型是否有可能针对给定的新数据点以存在偏见的方式运作。 接着,Watson OpenScale 会每小时分析模型收到的数据,并查找导致偏见的数据点。 对于此类数据点,公平性属性从少数到多数,从多数到少数,并且将扰动数据发送到原始模型以进行预测。 扰动记录的预测,以及原始预测用于计算偏差。
Watson OpenScale 会对模型在过去一小时内接收到的已识别的有偏差记录进行去偏差处理。 它还会计算无偏输出的公平性,并将其显示在无偏模型选项卡中。
主动除偏
您可以使用主动除偏这种方式来通过 REST API 端点请求无偏结果并将其引入应用程序中。 您可以主动调用 Watson OpenScale 以了解模型的无偏预测,从而以无偏的方式运行应用程序。 在主动除偏中,可以从应用程序使用除偏 REST API 端点。 此 REST API 端点在内部调用模型,并检查其行为。
如果 Watson OpenScale 检测到模型以存在偏见的方式运作,它会扰动数据,并将其发送回原始模型。 在扰动数据点上进行内部分析后,如果 Watson OpenScale 检测到模型在数据点上的行为存在偏差,那么扰动数据上原始模型的输出将作为去偏差预测返回。
如果 Watson OpenScale 确定原始模型未以有偏差的方式执行操作,那么 Watson OpenScale 会将原始模型的预测作为无偏差预测返回。 这样,通过使用此 REST API 端点,可以确保应用程序不会将决策基于有偏见的输出。
查看数据以获取无偏值
当公平性评估运行时, Watson OpenScale 会将无偏值存储在模型部署的有效内容日志记录表中。 通过此端点完成的所有评分事务都会自动去偏差 (如果适用)。 您可以访问无偏评分端点,就像访问已部署模型的正常评分端点一样。 除了返回已部署模型的响应之外,它还会返回 debiased_prediction
和 debiased_probability
列。
debiased_prediction
列包含无偏预测值。debiased_probability
列表示无偏预测的概率。 此双精度值数组表示属于某个预测类别的无偏预测的概率。