수동 편향성 제거

패시브 디비아싱은 매시간 자동으로 발생합니다. 사용자 개입 없이 발생하므로 수동으로 간주됩니다. 편향이 분석되면 데이터의 편향도 제거됩니다. 모델의 작동을 분석하고 모델이 편향된 방식으로 작동하는 데이터를 식별합니다.

머신러닝 모델은 주어진 새로운 데이터 포인트에 대해 편향된 방식으로 작동할 가능성이 있는지 예측하기 위해 구축됩니다. 모델이 수신하는 데이터를 시간 단위로 분석하여 편향성을 유발하는 데이터 포인트를 찾습니다. 이러한 데이터 점의 경우 공정성 속성은 소수에서 다수로, 다수에서 소수로 변동되며 변동된 데이터는 예측을 위해 원래 모델로 전송됩니다. 원래 예측과 함께 변동된 레코드의 예측을 사용하여 편향성을 계산합니다.

지난 한 시간 동안 모델이 수신한 편향된 기록이 식별되면 편향성이 제거됩니다. 디베이즈된 출력에 대한 공정성도 계산되어 디베이즈된 모델 탭에 표시됩니다.

활성 편향성 제거

활성 편향성 제거는 편향성 제거된 결과를 요청하고 REST API 엔드포인트를 통해 애플리케이션으로 가져오기 위한 방법입니다. 모델 평가를 적극적으로 호출하여 편향되지 않은 방식으로 애플리케이션을 실행할 수 있도록 모델의 편향된 예측을 파악할 수 있습니다. 활성 편향성 제거에서는 애플리케이션에서 편향성 제거 REST API 엔드포인트를 사용할 수 있습니다. 이 REST API 엔드포인트는 내부적으로 모델을 호출하고 해당 작동을 확인합니다.

모델이 편향된 방식으로 작동하는 경우 데이터가 교란되어 원래 모델로 다시 전송됩니다. 교란된 데이터 포인트에 대한 내부 분석 후, 모델이 데이터 포인트에서 편향된 방식으로 작동하는 경우 교란된 데이터에 대한 원래 모델의 출력은 디베이즈된 예측으로 반환됩니다.

원래 모델이 편향된 방식으로 작동하지 않는 경우 원래 모델의 예측이 편향된 예측으로 반환됩니다. 따라서 이 REST API 엔드포인트를 사용하여 애플리케이션이 편향된 출력을 기반으로 의사결정을 하지 않음을 보장할 수 있습니다.

편향 제거된 값에 대한 데이터 검토

공정성 평가가 실행되면 디베이싱된 값은 모델 배포의 페이로드 로깅 테이블에 저장됩니다. 이 엔드포인트를 통해 수행되는 모든 스코어링 트랜잭션은 적용 가능한 경우 자동으로 편향성이 제거됩니다. 배포된 모델의 일반 스코어링 엔드포인트와 마찬가지로 편향성 제거된 스코어링 엔드포인트에 액세스할 수 있습니다. 배치된 모델의 응답을 리턴하는 것 외에 debiased_prediction 및 debiased_probability 열도 리턴합니다.

• debiased_prediction 열은 편향성 제거된 예측 값을 포함합니다.

• debiased_probability 열은 편향성 제거된 예측의 확률을 나타냅니다. 이 이중 값의 배열은 예측 클래스 중 하나에 속하는 편향성 제거된 예측의 확률을 나타냅니다.

wos_client.monitor_instances.update(
            monitor_instance_id=<FAIRNESS_MONITOR_INSTANCE_ID>,
            patch_document=[JsonPatchOperation(
                op=OperationTypes.ADD,
                path='/parameters/perform_debias',
                value=True
            )],update_metadata_only=True
        )

편향성 제거된 트랜잭션 검토

편향성 제거된 트랜잭션 엔드포인트를 사용하여 공정성 평가를 위해 편향성 제거된 트랜잭션을 검토할 수 있습니다. 자세한 정보는 Watson OpenScale에서 모델 트랜잭션 전송을 참조하십시오.

편향성 제거 엔드포인트는 런타임 편향성을 처리하므로 페이로드 로깅 테이블에서 스코어링 데이터에 대한 백그라운드 검사를 계속 실행합니다. 또한 스코어링 요청을 편향성 제거하는 편향성 완화 모델을 계속 업데이트합니다.

공정성 임계값을 구성하여 데이터가 편향되지 않고 허용되는 시점을 표시할 수 있습니다.