모델 트랜잭션에 대한 설명은 예측이 어떻게 결정되는지 이해하는 데 도움이 됩니다.

로컬 설명을 분석하여 특정 트랜잭션에 대한 요인의 영향을 이해하거나 글로벌 설명을 분석하여 모델 결과에 영향을 주는 일반 요인을 이해할 수 있습니다. 구성하는 모델 유형에 따라 트랜잭션을 분석하는 데 사용할 수 있는 설명 유형이 결정됩니다.

설명은 정형, 이미지 및 비정형 텍스트 모델에 대해 지원됩니다. 구조화된 모델은 2진, 다중 클래스 또는 회귀 분류 문제점을 사용할 수 있습니다. 이미지 또는 구조화되지 않은 텍스트 모델은 2진 또는 다중 클래스 분류 문제점을 사용할 수 있습니다.

설명 가능성을 구성할 때 LIME(로컬 해석 가능 모델-무시적 설명), 대조적 설명 또는 SHAP(샤플리 부가 설명)을 사용하여 트랜잭션을 분석할 수 있습니다.

LIME는 최대 5000개의 다른 close-by 데이터 점을 분석하여 특정 데이터 점에 가장 중요한 기능을 식별합니다. 이상적인 설정에서는 LIME에서 중요도가 높은 기능은 해당 특정 데이터 점에 가장 중요한 기능입니다.

대조 설명은 예측을 변경하거나 동일한 예측을 유지하기 위해 변경해야 하는 값 수를 계산합니다. 최대 변경이 필요한 요소를 더 중요하게 생각하므로, 대비 설명에서 가장 중요한 기능은 모델이 가장 덜 민감한 기능입니다. 대조적인 설명을 위해 동일한 결과에 대한 최대 변경 사항과 변경된 결과에 대한 최소 변경 사항이 표시됩니다. 이러한 카테고리는 또한 PP(Pertinent Positive) 및 PN(Pertinent Negative) 값으로도 알려져 있습니다. 이러한 값은 설명이 생성된 데이터 점의 부근에서 모델의 동작을 설명하는 데 도움을 줍니다.

SHAP는 기계 학습 모델의 출력을 설명하는 게임 이론적 접근 방식입니다. Shapley값 및 관련 확장을 사용하여 최적의 신용 할당을 로컬 설명과 연결합니다. SHAP는 각 모델 기능에 Shapley값이라고 하는 특정 예측에 대한 중요도 값을 지정합니다. Shapley 값은 모든 가능한 기능 그룹에 걸친 피쳐 값의 평균 한계 기여도입니다. 입력 기능의 SHAP값은 기준선 또는 예상 모델 출력과 설명 중인 예측의 현재 모델 출력 간 차이의 합계입니다. 기준선 모델 출력은 훈련 데이터의 요약 또는 설명이 생성되어야 하는 데이터의 서브세트를 기반으로 할 수 있습니다. 트랜잭션 세트의 Shapley값을 조합하여 가장 중요한 모델의 기능에 대한 개요를 제공하는 글로벌 설명을 얻을 수 있습니다.