평가를 구성하면 평가 결과를 분석하여 모델 성능에 대한 인사이트를 얻을 수 있습니다. 대시보드는 성능 세부사항 검토, 경보에 대한 정보 공유 또는 보고서 인쇄를 위한 도구를 제공합니다.
인사이트 대시보드에서 검토할 수 있는 몇 가지 세부 정보는 다음과 같습니다:
- 품질 결과를 검토하여 배치된 모델이 트랜잭션을 올바르게 분석했는지 여부를 판별하는 데 도움이 되는 혼동 매트릭스를 확인하십시오.
- 드리프트 결과를 보고 정확성 저하, 데이터 일관성 저하 또는 둘 다의 원인이 되는 트랜잭션을 확인하십시오.
- 다른 차원과 상관되는 스코어카드 타일을 사용하여 마지막 평가 중에 생성된 메트릭의 요약을 볼 수 있는 모델 상태 평가 결과를 검사합니다.
Insights 대시보드에서 결과를 보려면 다음을 수행하십시오.
Watson Openscale에서 활동 아이콘
을 클릭하여 Insights 대시보드를 여십시오.결과를 보려는 배치 모델 타일을 선택하십시오. 마지막 평가의 결과가 표시됩니다.
시간 범위 및 지정한 날짜 범위 설정 내에서 평가 결과의 데이터 시각화를 보려면 평가 섹션에서 화살표
를 클릭하십시오. 선택한 시간 범위에 대한 마지막 평가도 연관된 데이터 범위 중에 표시됩니다.다음 분석 옵션 중 하나를 선택하여 모델에 대한 세부사항을 보려면 조치 메뉴를 사용하십시오.
- 모든 평가: 사전 프로덕션 모델의 경우 시간 경과에 따라 결과가 변경되는 방식을 이해하기 위해 평가 히스토리를 표시합니다.
- 비교: 모델을 주요 메트릭을 강조표시하는 매트릭스 차트와 비교하여 프로덕션 준비가 된 모델의 버전 또는 추가 훈련이 필요할 수 있는 모델을 판별하는 데 도움을 줍니다.
- 모델 정보 보기: 모델에 대한 세부사항을 보고 배치 환경이 설정되는 방법을 이해할 수 있습니다.
- 보고서 PDF 다운로드: 모든 메트릭과 그 이유에 대한 설명을 제공하는 모델 요약 보고서를 생성합니다.
- 경보 설정: 임계값 위반에 대한 경보를 이메일 주소로 보냅니다.
조치 메뉴를 사용하여 모델 평가에 대한 데이터를 관리할 수도 있습니다. 자세한 정보는 모델 트랜잭션 전송을 참조하십시오.
시계열 차트를 사용하면 집계된 평가가 특정 기간의 결과를 보기 위해 선택할 수 있는 데이터 요소로 표시됩니다. 기본 집계 동작으로 인해 시계열 차트를 마우스오버할 때 표시되는 각 데이터 포인트의 타임스탬프가 최신 평가의 타임스탬프와 일치하지 않습니다.
다음 섹션에서는 모델 평가 결과를 분석하는 방법에 대해 설명합니다:
공정성 결과 검토
공정성 결과를 검토하는 데 도움이 되도록 다음 유형의 데이터 세트에 대한 계산이 제공됩니다:
- 균형: 균형 계산에는 선택한 시간 동안 수신된 스코어링 요청이 포함됩니다. 평가에 필요한 최소 레코드 수가 충족되지 않은 경우 계산에는 이전 시간의 추가 레코드도 포함됩니다. 모니터되는 기능의 값이 변경될 때 모델의 응답을 테스트하는 데 사용되는 더 많은 섭동 및 합성된 레코드를 포함합니다.
- 페이로드: 선택한 시간 동안 모델이 받은 실제 스코어링 요청입니다.
- 훈련: 모델을 훈련하는 데 사용되는 훈련 데이터 레코드입니다.
- 편향성 제거됨: 런타임 및 섭동된 데이터를 처리한 후 편향성 제거 알고리즘의 결과입니다.
차트를 사용하여 편향성을 경험하는 그룹을 관찰하고 이러한 그룹에 대한 예상 결과의 백분율을 볼 수 있습니다. 또한 모든 참조 그룹에서 예상 결과의 평균인 참조 그룹에 대한 예상 결과의 백분율을 볼 수 있습니다. 차트는 데이터 범위에 있는 모니터된 그룹의 예상 결과 백분율과 참조 그룹의 결과 백분율을 비교하여 편향의 존재를 표시합니다.
차트는 참조의 분포 및 편향성을 식별하기 위해 분석된 페이로드 테이블의 데이터에서 속성 값에 대한 각 구분값의 모니터된 값도 표시됩니다. 페이로드 데이터의 분배는 속성의 각 고유 값에 대해 표시됩니다. 이 데이터를 사용하여 편향성의 양을 모델이 수신하는 데이터의 양과 상관시킬 수 있습니다. 또한 결과를 왜곡하고 참조 그룹에 대한 예상 결과의 백분율을 증가시키는 편향의 소스를 식별하기 위해 예상 결과가 있는 그룹의 백분율을 볼 수 있습니다.
품질 결과 검토
품질 결과를 검토하는 데 도움이 되도록 배포된 모델이 트랜잭션을 잘못 분석했는지 여부를 판단하는 데 도움이 되는 혼동 매트릭스가 표시됩니다. 이진 분류 모델의 경우 거래 레코드는 오탐 또는 오탐으로 분류되며, 다중 클래스 모델의 경우 잘못된 클래스 할당으로 분류됩니다. 이진 분류 문제의 경우, 대상 카테고리는 positive 또는 negative 레벨에 할당됩니다. 혼동 행렬에는 올바르게 분석된 긍정 및 부정 거래의 비율도 표시됩니다. 정확도를 식별하기 위해 매트릭스는 녹색과 파란색의 색상 음영으로 거래 범주를 강조 표시하여 가장 정확하거나 가장 정확하지 않은 범주의 수준을 표시합니다. 예상값 및 실제값 메뉴를 사용하여 분석하려는 트랜잭션의 범주를 지정할 수 있습니다.
드리프트 결과 검토
드리프트 평가의 경우 정확성 저하, 데이터 일관성 저하 또는 둘 다의 원인이 되는 트랜잭션을 볼 수 있습니다. 식별되는 트랜잭션의 수와 정확도 또는 데이터 일관성을 감소시키는 모델의 기능을 볼 수도 있습니다.
자세한 정보는 드리프트 트랜잭션 검토를 참조하십시오.
드리프트 v2 결과 검토
드리프트 v2 평가 결과를 검토할 때 접을 수 있는 타일이 표시되며, 이 타일을 열어 지표에 대한 다양한 세부 정보를 확인할 수 있습니다. 시계열 차트를 사용하여 시간 경과에 따라 각 메트릭 점수가 변경되는 방식에 대한 히스토리를 보거나 점수 출력 및 기능 드리프트가 계산되는 방식을 자세히 볼 수 있습니다. 또한 각 기능에 대한 세부 정보를 확인하여 해당 기능이 생성되는 점수에 어떻게 기여하는지 이해할 수 있습니다.
모델 상태 결과 검토
모델 상태 평가 결과를 검토할 때 마지막 평가 중에 생성된 메트릭의 요약이 다양한 차원과 연관된 스코어카드 타일과 함께 제공됩니다. 여러 차원이 있는 메트릭의 경우 타일에서 드롭 다운 메뉴를 클릭하여 분석할 메트릭을 선택할 수 있습니다. 시간 경과에 따라 메트릭이 변경되는 방식을 분석하기 위해 각 카테고리에 대해 접을 수 있는 타일을 클릭하여 시계열 차트를 볼 수 있습니다.
자세한 정보는 모델 상태 평가 메트릭을 참조하십시오.
상위 주제: 모델 인사이트 검토하기