了解用于计算公平性评价的概念
计算偏差的方式
公平性监控器的算法通过使用有效负载日志表中的最后 N 条记录和配置公平性监控器时指定的 N 值，每小时计算一次偏差。 该算法应用一种称为扰动的方法来评估数据中预期结果的差异。
扰动将特征的值从参考组更改为受监视组，反之亦然。 扰动数据接着会发送到模型以评估其行为。 该算法将查看有效内容表中的最后一条 N 记录以及模型在扰动数据上的行为，以确定模型结果是否指示存在偏差。
如果受监视组的有利结果百分比小于参考组的有利结果百分比 (按配置公平性监视器时指定的阈值) ，那么模型存在偏差。
请注意，公平性值可以大于 100%。 此计算意味着受监视组收到的结果比参考组更有利。 此外，如果未发送新的评分请求，那么公平性值将保持不变。
均衡数据和完美平等
对于均衡数据集，以下概念适用:
- 为了确定完美平等值，会通过将每个受监视组事务的受监视特征值更改为所有参考组值来合成参考组事务。 这些新合成的事务会添加到参考组事务集，并由模型评估。
例如，如果受监视功能部件为 SEX 且受监视组为 FEMALE，那么所有 FEMALE 事务都将复制为 MALE 个事务。 其他特征值保持不变。 这些新合成的 MALE 事务会添加到原始 MALE 参考组事务集。
- 有利结果的百分比由新的参考组确定。 此百分比表示受监视组的完美公平性。
- 还会通过将每个参考组事务的参考特征值更改为受监视组值来合成受监视组事务。 这些新合成的事务会添加到受监视组事务集，并由模型评估。
如果受监视特征为 SEX，并且受监视组为 FEMALE，那么所有 MALE 事务将复制为 FEMALE 事务。 其他特征值保持不变。 这些新合成的 FEMALE 事务会添加到原始 FEMALE 受监视组事务集。
计算完美等同性
以下数学公式用于计算完美平等：
Perfect equality = Percentage of favorable outcomes for all reference transactions,
including the synthesized transactions from the monitored group
例如，如果受监视特征为 SEX，并且受监视组为 FEMALE，那么以下公式显示了完美平等的公式：
Perfect equality for `SEX` = Percentage of favorable outcomes for `MALE` transactions,
including the synthesized transactions that were initially `FEMALE` but changed to `MALE`
配置公平性评估时，可以生成一组指标来评估模型的公平性。 您可以使用公平性指标来确定模型是否产生有偏差的结果。
转换预测列的数据类型
对于公平性监视，该预测列只允许使用整数数值，即使预测标签为分类标签也是如此。 可以转换预测列数据类型。
例如，训练数据可能具有类标签，例如 "Loan Denied" 和 "Loan Granted"。 IBM watsonx.aiRuntime 评分终点返回的预测值有 "0.0"、"1.0"等值。 该评分端点还有一个可选列，其中包含该预测的文本表示。 例如，如果 prediction=1.0，那么 predictionLabel 列中的值可能是“Loan Granted”。 如果有这样的列可供使用，那么在为该模型配置有利结果和不利结果时，请指定字符串值“Loan Granted”和“Loan Denied”。 如果没有这样的列可供使用，那么您需要为有利类和不利类指定整数值/双精度值 1.0 和 0.0。
IBM watsonx.aiRuntime 有一个输出模式的概念，它定义了IBM watsonx.aiRuntime 评分终点的输出模式和不同列的作用。 角色用于标识哪个列包含预测值，哪个列包含预测概率以及类标签值等。 将自动为使用模型构建器创建的模型设置输出模式。 也可以使用IBM watsonx.aiRuntimePython客户端进行设置。 用户可以使用输出模式来定义一个包含该预测的字符串表示的列。 请将该列的 modeling_role 设置为“decoded-target”。 有关IBM watsonx.aiRuntimePython客户端的文档，请访问https://ibm.github.io/watsonx-ai-python-sdk/core_api.html#repository 请搜索“OUTPUT_DATA_SCHEMA”以了解输出模式。 要使用的 API 调用是 store_model 调用，它接受 OUTPUT_DATA_SCHEMA 作为参数。
解释大于 100% 的公平性分数
根据公平性配置，公平性分数可能会超过 100%。 这意味着与参考组相比，受监视组所获得的结果相对更“公平”。 从技术角度而言，这意味着该模型在相反方向上不公平。
了解更多信息
父主题: 配置公平性监视器