MLOps 및 신뢰할 수 있는 AI 학습서: 모델 테스트 및 검증

데이터 패브릭 평가판의 MLOps 및 신뢰할 수 있는 AI 사용 사례를 사용하여 배치된 모델을 평가하고 모니터하려면 이 학습서를 참고하십시오. 목표는 Watson OpenScale을 사용하여 저당권에 적합한 지원자를 예측하는 배치된 모델에 대한 모니터를 평가하고 구성하는 것입니다. 모델이 정확한지 확인하고 모든 신청자를 공정하게 처리하려고 합니다.

이 학습서의 내용은 골든 뱅크가 온라인 애플리케이션을 위한 저금리 모기지 갱신을 제공하여 사업을 확장하기를 원한다는 것입니다.온라인 애플리케이션은 은행의 고객 범위를 확장하고 은행의 애플리케이션 처리 비용을 줄일 수 있습니다. 골든 뱅크의 데이터 과학자로서 예측할 수 없는 위험을 피하고 모든 신청자를 공정하게 처리하는 모기지 승인 모델을 작성해야 합니다. 머신 러닝 모델에 대한 모니터를 설정하기 위해 Jupyter 노트북을 실행하여 효과적으로 작동하고 의도된 대로 작동할 수 있다는 확신을 갖고 생산적인 용도로 배치할 수 있습니다. 이는 데이터에 대한 신뢰, 모델에 대한 신뢰 및 확실하게 AI를 작동하는 데 필요한 프로세스에 대한 신뢰를 함께 제공하는 Cloud Pak for Data 서비스를 통해 달성됩니다.

다음 단계를 수행하여 모델의 공정성을 평가하고 모델의 성능에 대한 설명을 생성하고 모델을 프로덕션 배치에 대해 승인된 것으로 표시하는 Watson OpenScale을 사용하여 사전 프로덕션 환경에서 머신 러닝 모델을 모니터하고 테스트하는 방법을 학습하십시오.

이 튜토리얼에서는 다음을 수행합니다.

  1. 노트북을 실행하여 모니터를 설정하십시오.
  2. 모델 평가
  3. 품질을 위해 모델 모니터를 관찰하십시오.
  4. 공정성을 위해 모델 모니터를 관찰하십시오.
  5. 설명 가능성을 위해 모델 모니터를 관찰하십시오.
  6. 모델을 사전 프로덕션으로 프로모션하고 모델을 승인

이 학습서에 대한 도움말이 필요한 경우 질문을 하거나 Cloud Pak for Data 커뮤니티 토론 포럼에서 답을 찾으십시오.

팁: 이 학습을 완료하는 최적의 경험을 보려면 Cloud Pak for Data as a Service를 하나의 브라우저 탭에서 열고 이 학습서 페이지를 다른 브라우저 탭에서 열어 두 애플리케이션 간에 쉽게 전환할 수 있습니다.

튜토리얼 미리보기

비디오 시청 이 비디오를 시청하면 이 학습서의 단계를 미리 볼 수 있습니다.

이 비디오는 이 문서에 기록된 단계를 수행하는 방법의 대안인 시각적 메소드를 제공합니다.

전제조건

Cloud Pak for Data as a Service에 대한 서비스를 등록하고 Multicloud Data Integration 통합 사용 사례에 필요한 서비스를 프로비저닝해야 합니다.

다음 방법 중 하나로 Cloud Pak for Data as a Service에 등록할 수 있습니다.

기계 학습 모델 빌드 및 배치

비디오 시청 이 태스크를 미리 보려면 00:47에서 시작하는 비디오를 시청하십시오.

이 학습서에서 사용되는 머신 러닝 모델을 작성, 프로모션 및 배치하려면 모델 빌드 및 배치 학습서를 완료하십시오.

필요한 서비스 프로비저닝

필요한 서비스를 확인하거나 프로비저닝하려면 다음 단계를 수행하십시오.

  1. Cloud Pak for Data 탐색 메뉴에서 서비스 > 서비스 인스턴스를 선택하십시오.
  2. 제품 드롭 다운 상자를 사용하여 기존 Watson OpenScale 서비스 인스턴스가 있는지 판별하십시오.
  3. Watson OpenScale 서비스 인스턴스를 작성해야 하는 경우 서비스 추가를 클릭하십시오.
  4. Watson OpenScale을 선택하십시오.
  5. Lite 플랜을 선택하십시오.
  6. 작성을 클릭하십시오.
  7. 다음과 같은 추가 서비스를 확인하거나 프로비저닝하려면 다음 단계를 반복하십시오.
    • Watson Studio
    • Watson Machine Learning
    • Watson Knowledge Catalog
    • Cloud Object Storage

1단계: 노트북을 실행하여 모니터 설정

비디오 시청 이 태스크를 미리 보려면 01:14에서 시작하는 비디오를 시청하십시오.

다음 단계에 따라 샘플 프로젝트에 포함된 노트북을 실행하십시오. 이 노트북은 사용자 인터페이스를 통해 구성할 수 있는 모델에 대한 모니터를 설정합니다. 그러나 노트북을 사용하여 설정하는 것이 더 빠르고 오류가 적습니다.

  1. Cloud Pak for Data 탐색 메뉴에서 프로젝트 > 모든 프로젝트 보기를 선택하십시오.
  2. MLOps 및 신뢰할 수 있는 AI 프로젝트를 여십시오.
  3. 자산 탭에서 소스 코드 > 노트북을 클릭하십시오.
  4. 2-monitor-wml-model-with-watson-openscale 노트북을 여십시오.
  5. 노트북이 읽기 전용 모드이므로 연필 아이콘을 클릭하여 노트북을 편집 모드로 두십시오.
  6. 노트북의 맨 위에 있는 지시사항에 따라 프로젝트 토큰을 가져오십시오.
    1. 더 많은 메뉴에서 프로젝트 토큰 삽입을 선택하십시오. 그러면 프로젝트 토큰이 포함된 노트북의 맨 위에 새 셀이 삽입됩니다.
  7. IBM Cloud API 키 삽입 섹션에서 ibmcloud_api_key 필드에 API 키를 붙여넣으십시오.
  8. 노트북에서 모든 셀을 실행하려면 셀 > 모두 실행을 클릭하십시오. 또는 각 셀 및 해당 출력을 탐색하려는 경우 노트북 셀 기준을 실행할 수 있습니다.
  9. 노트북을 완료하는 데 1-3분 정도 걸립니다. 숫자(예: "In [1]")로 변경하는 별표("In [*]")를 인식하여 진행 상태 셀별(cell-by-cell)을 모니터할 수 있습니다.
  10. 노트북 실행 중에 오류가 발생하면 커널 > 다시 시작 및 출력 지우기를 클릭하여 커널을 다시 시작한 후 노트북을 다시 실행하십시오.

2단계: 모델 평가

비디오 시청 이 태스크를 미리 보려면 02:58에서 시작하는 비디오를 시청하십시오.

다음 단계에 따라 홀드아웃 데이터를 다운로드하고 해당 데이터를 사용하여 Watson OpenScale에서 모델을 평가하십시오.

  1. 사이트 이동 경로에서 MLOps 및 신뢰할 수 있는 AI 프로젝트를 클릭하십시오.
  2. 자산 탭에서 데이터 > 데이터 자산을 클릭하십시오.
  3. GoldenBank_HoldoutData.csv 데이터 자산의 오버플로우 메뉴에서 다운로드를 선택하십시오. 모델이 필요한 대로 작동하는지 유효성 검증하려면 모델 훈련에서 제외된 레이블된 데이터 세트가 필요합니다. 이 CSV 파일에는 홀드아웃 데이터가 포함되어 있습니다.
  4. Watson OpenScale을 시작하려면 Cloud Pak for Data 탐색 메뉴에서 서비스 > 서비스 인스턴스를 선택하십시오.
  5. 제품 드롭 다운 상자를 사용하여 기존 Watson OpenScale 서비스 인스턴스를 확인하십시오.
  6. Watson OpenScale 인스턴스를 여십시오. 프롬프트가 표시되면 Cloud Pak for Data에 등록하는 데 사용되는 동일한 신임 정보를 사용하여 로그인하십시오.
  7. Watson OpenScale 서비스 인스턴스 페이지에서 애플리케이션 시작을 클릭하십시오.
  8. 인사이트 대시보드에서 모기지 승인 모델 배치 타일을 클릭하십시오.
  9. 조치 메뉴에서 지금 평가를 선택하십시오.
  10. 가져오기 옵션 목록에서 CSV 파일에서를 선택하십시오.
  11. 프로젝트에서 다운로드한 Golden Bank_HoldoutData.csv 데이터 파일을 사이드 패널로 끄십시오.
  12. 업로드 및 평가를 클릭하십시오.

3단계: 품질을 위해 모델 모니터 관찰

비디오 시청 이 태스크를 미리 보려면 04:00에서 시작하는 비디오를 시청하십시오.

홀드아웃 데이터를 사용한 평가가 완료되면 다음 단계를 수행하여 모델 품질 또는 정확도를 관찰하십시오.

  1. 왼쪽 탐색 패널에서 인사이트 대시보드 아이콘을 클릭하십시오.
  2. 모기지 승인 모델 배치 타일을 찾으십시오. 0개의 문제가 있으며 품질 및 공정성 테스트가 모두 전달되었음을 유의하십시오. 즉, 모델이 필요한 임계값을 충족했음을 의미합니다.
  3. 세부사항을 보려면 모기지 승인 모델 배치 타일을 클릭하십시오.
  4. 품질 섹션에서 구성 아이콘을 클릭하십시오.여기에서 이 모니터에 대해 구성된 품질 임계값이 70%이고 사용 중인 품질의 측정이 ROC 곡선 아래의 영역임을 확인할 수 있습니다.
  5. 모델 세부사항 화면으로 돌아가려면 모델 요약으로 이동을 클릭하십시오.
  6. 모델 품질 세부사항 결과를 보려면 품질 섹션에서 오른쪽 화살표 오른쪽 화살표 아이콘을 클릭하십시오.여기에서는 정확한 모델 결정과 위양성 및 위음성을 보여주는 혼동 행렬과 많은 품질 메트릭 계산이 표시됩니다.ROC 곡선 아래의 계산된 영역은 0.9 이상이며, 0.7 임계값을 초과하여 모델이 품질 요구 사항을 충족시키고 있습니다.
  7. 모델 세부사항 화면으로 돌아가려면 모기지 승인 모델 배치 이동 경로를 클릭하십시오.

4단계: 공정성을 위해 모델 모니터 관찰

비디오 시청 이 태스크를 미리 보려면 05:19에서 시작하는 비디오를 시청하십시오.

모델의 공정성을 관찰하려면 다음 단계를 수행하십시오.

  1. 공정성 섹션에서 구성 구성 아이콘을 클릭하십시오. 여기에서는 지원자들이 성별에 상관없이 공정하게 대우받을 수 있도록 모델을 검토하고 있다는 것을 알 수 있습니다.여성은 공정성이 측정되고 있는 모니터링되는 그룹으로서 식별되고, 공정성에 대한 임계값은 적어도 80%가 되는 것입니다.공정성 모니터는 이질적 영향 방법을 사용하여 공정성을 판별합니다.
  2. 모델 세부사항 화면으로 돌아가려면 모델 요약으로 이동을 클릭하십시오.
  3. 모델의 공정성 세부 결과를 확인하려면 공정성 섹션에서 오른쪽 화살표 오른쪽 화살표 아이콘을 클릭하십시오. 여기에서 100% 이상의 공정성 스코어와 함께 자동으로 승인되는 남성 및 여성 지원자의 비율을 볼 수 있으므로 모델은 필요한 80% 공정성 임계값을 훨씬 초과하는 성능을 발휘합니다.
  4. 화면의 맨 위에서 식별된 데이터 세트를 참고하십시오.실제 모델 예측 Watson OpenScale외에도 공정성 메트릭이 가능한 정확한지 확인하기 위해 섭동을 사용하여 보호된 속성 및 관련 모델 입력만 변경되는 결과를 판별하고 기타 기능은 동일하게 유지됩니다.이러한 추가 가드레일은 "균형" 데이터 세트가 사용될 때 공정성을 계산하는 데 사용되지만 페이로드 또는 모델 훈련 데이터만 사용하여 공정성 결과를 볼 수도 있습니다.모델이 공정하게 행동하기 때문에, 이 메트릭에 대해 추가로 상세히 설명할 필요가 없습니다.
  5. 모델 세부사항 화면으로 돌아가려면 모기지 승인 모델 배치 이동 경로를 클릭하십시오.

5단계: 설명 가능성을 위해 모델 모니터를 관찰

비디오 시청 이 태스크를 미리 보려면 07:00에서 시작하는 비디오를 시청하십시오.

모델이 어떤 결정을 내렸는지 이해하는 것도 중요합니다. 이는 대출 승인에 관련된 사람에게 의사결정을 설명하고 결정이 유효한 모델 소유자를 확인하는 데 필요합니다. 이러한 결정을 이해하려면 다음 단계에 따라 모델 설명 가능성을 관찰하십시오.

  1. 왼쪽 탐색 패널에서 트랜잭션 설명 아이콘을 클릭하십시오.
  2. 배치된 모델에 대한 트랜잭션 목록을 보려면 모기지 승인 모델 배치를 선택하십시오.
  3. 트랜잭션의 경우, 조치 열 아래의 설명을 클릭하십시오. 이 결정에 대한 자세한 설명을 볼 수 있습니다.각 항목이 최종 결과에 얼마나 중요한지에 따라 모델에 대한 가장 중요한 입력이 표시됩니다.파란색 막대는 모델의 결정을 지원하는 입력을 나타내는 반면 보라색 막대는 다른 결정을 초래할 수 있는 입력을 표시합니다.예를 들어, 신청자는 그렇지 않은 경우 승인을 받기에 충분한 소득을 가지고 있을 수 있지만 그들의 열악한 신용 이력과 높은 부채가 함께 모델을 리드하여 애플리케이션을 거부할 수 있습니다.모델 결정의 기초에 대해 만족하려면 이 설명을 검토하십시오.
  4. (선택사항) 모델이 결정한 방법을 자세히 살펴보려면 검사 탭을 클릭하십시오. 여기에서 몇 개의 입력에 대한 작은 변경사항이 다른 결정을 초래하는 민감도 영역을 찾기 위한 결정을 분석할 수 있으며, 결과에 영향을 미칠지 여부를 확인하기 위해 실제 입력 중 일부를 대체하여 사용자가 직접 민감한 부분을 테스트할 수 있습니다.

6단계: 모델을 사전 프로덕션으로 프로모션하고 모델을 승인

비디오 시청 이 태스크를 미리 보려면 08:38에서 시작하는 비디오를 시청하십시오.

모델 인벤토리에서 모델 항목의 상태를 변경하고 모델을 승인하려면 다음 단계를 수행하십시오.

  1. Cloud Pak for Data 탐색 메뉴에서 카탈로그 > 모델 인벤토리를 선택하십시오.
  2. 모기지 승인 모델 항목의 경우 세부사항 보기를 클릭하십시오.
  3. 자산 탭을 클릭하십시오. 모델 추적 아래에서 모델이 이제 유효성 검증 스테이지에 있음을 확인할 수 있습니다.
  4. 모델 엔트리 상태 옆에 있는 연필 아이콘을 클릭하고 사전 프로덕션으로 프로모션을 선택한 후 업데이트를 클릭하십시오.
  5. Watson OpenScale 인사이트 대시보드로 돌아가십시오.
  6. 모기지 승인 모델 배치 타일을 클릭하십시오.
  7. 조치 메뉴에서 프로덕션 승인을 선택한 후 승인을 클릭하십시오. 이는 이제 모델을 지정된 프로덕션 공간에 배치할 수 있음을 AI 조작 팀에 전달할 것입니다.

자세히 보기

상위 주제: 데이터 패브릭 학습서