유리한 결과와 불리한 결과 선택

공정성 평가를 구성할 때 유리한 결과와 불리한 결과를 지정해야 합니다. 선호하는 결과를 나타내는 값은 훈련 데이터의 label 열에서 파생됩니다. 기본적으로 predictedLabel 열은 prediction 열로 설정됩니다. 교육 데이터를 업로드할 때 prediction 열의 값을 문자열 데이터 유형(예: 0 또는 1)으로 사용하여 선호하고 선호하지 않은 값을 지정해야 합니다.

기능 선택

편향성을 감지하기 위해 평가하려는 모델 속성인 기능을 선택해야 합니다. 예를 들어 Sex 또는 Age와 같은 기능의 편향성을 평가할 수 있습니다. 카테고리, 숫자(정수), 부동 또는 더블 공정성 데이터 유형의 특성만 지원됩니다.

기능의 값은 참조 또는 모니터되는 그룹으로 지정됩니다. 모니터되는 그룹은 편향된 결과에 대해 가장 위험한 값을 나타냅니다. 예를 들어, Sex 기능의 경우 Female 및 Non-binary을(를) 모니터된 그룹으로 설정할 수 있습니다. 숫자 기능(예: Age)의 경우 [18-25]을(를) 모니터할 그룹으로 설정할 수 있습니다. 이 기능에 대한 기타 모든 값은 참조 그룹으로 간주됩니다(예: Sex=Male 또는 Age=[26,100]).

공정성 임계값 설정

공정성 임계값을 설정하여 모니터링되는 그룹의 유리한 결과 비율과 기준 그룹의 유리한 결과 비율 간에 허용 가능한 차이를 지정할 수 있습니다. 예를 들어, 모델의 그룹에 대한 선호하는 결과의 백분율이 70%이고 공정성 임계값이 80%로 설정된 경우, 공정성 모니터는 모델에서 편향성을 감지합니다.

샘플 크기 설정

샘플 크기는 평가되는 트랜잭션 수를 처리하는 방법을 신속하게 처리하는 데 사용됩니다. 평가할 최소 트랜잭션 수를 나타내는 최소 샘플 크기를 설정해야 합니다. 최대 샘플 크기를 설정하여 평가할 최대 트랜잭션 수를 표시할 수도 있습니다.

간접 편향성 테스트

학습 기능이 아닌 필드(추가 필드)를 선택하면 학습 기능에서 관련 값을 찾아 간접 편향이 식별됩니다. 예를 들어, 직업 “학생”은 연령 필드가 모델 훈련에서 제외되었더라도 젊은 개인을 의미할 수 있습니다. 간접 편향을 고려하도록 공정성 평가를 구성하는 방법에 대한 자세한 내용은 간접 편향에 대한 공정성 모니터 구성하기를 참조하세요.

편향성 완화

머신러닝 모델 평가에는 패시브 디베이싱과 액티브 디베이싱이 사용됩니다. 수동 편향성 제거는 편향성을 드러내지만 활성 편향성 제거는 현재 애플리케이션에서 실시간으로 모델을 변경하여 해당 편향성을 다음으로 옮기지 못하도록 막습니다. 모델에서 결과를 해석하고 편향성을 완화하는 방법에 대한 세부사항은 공정성 평가의 결과 검토를 참조하십시오.

혼동 매트릭스로 성능 측정

혼동 행렬은 다음 예와 같이 실제 값과 예측 값의 측정을 나타내는 네 개의 사분면으로 양수 예측과 음수 예측을 분류하여 성능을 측정합니다:

참 음수(TN) 사분면은 실제로 음수이고 음수로 예측된 값을 나타내고, 참 양수(TP) 사분면은 실제로 양수이고 양수로 예측된 값을 나타냅니다. 위양성(FP) 사분면은 실제로는 음수이지만 양성으로 예측된 값을 나타내고, 위음성(FN) 사분면은 실제로는 양수이지만 음성으로 예측된 값을 나타냅니다.

부모 주제: 공정성 평가 구성하기