모델 위험 관리 솔루션은 모델 평가와 함께 제공되어 수명 주기 전반에 걸쳐 AI 모델의 결과를 측정하고 모델 유효성 검사를 수행하여 조직이 표준 및 규정을 준수할 수 있도록 지원합니다.
Watson OpenScale 분석 수행
모델 위험 관리 기능을 설정하고 활성화한 후에는 샘플 평가를 보고 비교할 수 있습니다. 모든 품질 측정값, 공정성 측정 및 드리프트 크기를 포함하는 모델 요약 보고서를 다운로드할 수 있습니다.
인사이트 대시보드에서 모델 배치 타일을 클릭합니다.
조치 메뉴에서 다음 분석 옵션 중 하나를 클릭하십시오.
- 모든 평가: 진행 중이거나 완료된 모든 평가를 나열합니다
- 비교하세요: 비교: 모든 모델, 특히 동일한 모델의 버전을 비교하여 최상의 성능을 확인하세요
- 보고서 PDF 다운로드: 모델 요약 보고서를 생성하여 모든 지표와 해당 지표가 왜 그렇게 점수가 매겨졌는지에 대한 설명을 제공합니다
Watson OpenScale에서 새 모델을 프로덕션에 배치
최고의 모델을 프로덕션에 푸시합니다. 프리프로덕션 모델에서 가져와 프로덕션 레코드를 작성합니다.
- 모델 배치의 상태를 검토하십시오.
- 샘플 노트북으로 돌아가서 셀을 실행하여 모델을 프로덕션에 보냅니다.
- 이제 프로덕션 모델 배치 타일을 볼 수 있습니다. 일반 프로덕션 환경에서는 초기에 충분한 데이터가 수집될 때까지 비어 있는 것으로 표시되고 메트릭 계산이 트리거될 때까지 시간이 경과됩니다. 노트북은 데이터를 추가하고 모니터를 실행하여 결과를 즉시 볼 수 있습니다.
모델 비교하기
모델 평가의 세부 정보를 볼 때 주요 메트릭을 강조 표시하는 매트릭스 차트를 사용하여 모델을 비교할 수 있습니다. 이 기능을 사용하여 프로덕션에 보낼 최고의 모델 버전 또는 작업이 필요한 모델을 판별하십시오.
조치 메뉴에서 비교를 선택하여 모델을 모니터하는 데 사용하는 메트릭의 점수를 비교하는 차트를 생성하십시오.
지금 평가
작업 메뉴에서 지금 평가를 선택하여 테스트 데이터를 평가합니다. 사전 프로덕션 환경에서는 다음 방법 중 하나를 사용하여 테스트 데이터를 가져올 수 있습니다.
- 레이블이 지정된 테스트 데이터를 포함하는 CSV 파일 업로드
- Cloud Object Storage 또는 Db2에 레이블된 테스트 데이터가 포함된 CSV 파일에 연결
이러한 가져오기 메소드 중 하나를 사용하는 경우 Watson OpenScale이 테스트 데이터를 스코어링할지 여부를 제어할 수 있습니다.
데이터에 점수를 매기려면 기능 및 레이블 열이 있는 레이블이 지정된 테스트 데이터를 가져옵니다. 테스트 데이터의 점수가 매겨지고 예측 및 확률 값이 피드백 테이블에 _original_prediction 및 _original_probability 열로 저장됩니다.
이미 스코어링된 테스트 데이터를 가져오려면 테스트 데이터 가져오기 패널에서 Test data includes model output 선택란을 선택하십시오. 기능 및 레이블 열이 있는 테스트 데이터를 스코어링된 출력과 함께 가져와야 합니다. 테스트 데이터는 기록되지 않습니다. 예측 및 확률값은 피드백 테이블에 _original_prediction 및 _original_probability 열로 저장됩니다.
참고:
업로드하는 테스트 데이터는 Test data includes model output 옵션이 선택될 때 페이로드 로깅 및 피드백 테이블에 추가되는 record_id/transaction_id 및 record_timestamp 열도 포함할 수 있습니다.
평가를 수행하기 전에 올바른 스키마를 설정하여 등록이 완전히 사용 가능한지 확인하십시오.
평가를 실행하면 평가가 성공적으로 완료되었는지 여부를 표시하는 상태 표시기를 통해 진행 상황을 확인할 수 있습니다.
프리프로덕션 구독에서 프로덕션 구독으로 구성을 복사하십시오.
시간을 절약하기 위해 사전 프로덕션 등록에서 구성 및 모델 메타데이터를 복사하고 프로덕션 등록에 데이터를 추가할 수 있습니다. 모델은 소스 모델과 동일하지만 프로덕션 공간에 배치되어야 합니다.
상위 주제: 모델 위험 관리 및 모델 거버넌스