0 / 0
영어 버전 문서로 돌아가기
AI 거버넌스 튜토리얼: 모델 테스트 및 유효성 검증

AI 거버넌스 튜토리얼: 모델 테스트 및 유효성 검증

이 학습서는 AI 통제 유스 케이스를 사용하여 모델 빌드 및 배치 학습서 에서 빌드되고 배치된 모델을 평가하고 모니터합니다. 사용자의 목표는 Watson OpenScale 을 사용하여 모기지 자격이 있는 신청자를 예측하는 배치된 모델에 대한 모니터를 구성하고 평가하는 것입니다. 모델이 정확하고 모든 신청자를 공정하게 처리하는지 확인하려고 합니다.

이 학습서의 내용은 골든 뱅크가 온라인 애플리케이션을 위한 저금리 모기지 갱신을 제공하여 사업을 확장하기를 원한다는 것입니다.온라인 애플리케이션은 은행의 고객 범위를 확장하고 은행의 애플리케이션 처리 비용을 줄일 수 있습니다. 골든 뱅크의 데이터 과학자로서 예측할 수 없는 위험을 피하고 모든 신청자를 공정하게 처리하는 모기지 승인 모델을 작성해야 합니다. Jupyter 노트북을 실행하여 기계 학습 모델에 대한 모니터를 효과적이고 의도한 대로 작동한다는 확신을 가지고 생산적인 용도로 배치할 수 있도록 설정합니다. 이 태스크는 Cloud Pak for Data 서비스를 통해 수행됩니다. 이 서비스는 데이터에 대한 신뢰, 모델에 대한 신뢰 및 확실히 AI를 운영하는 데 필요한 프로세스에 대한 신뢰를 함께 제공합니다.

다음 애니메이션 이미지는 학습 종료 시 수행할 작업에 대한 빠른 미리보기를 제공합니다. 더 큰 이미지를 보려면 이미지를 클릭하십시오.

애니메이션 이미지

튜토리얼 미리보기

이 학습서에서는 다음 태스크를 완료합니다.

비디오 시청 비디오를 시청하면 이 학습서의 단계를 미리 볼 수 있습니다.

이 비디오는 이 문서의 개념 및 태스크를 학습하기 위한 시각적 방법을 제공합니다.





이 학습을 완료하기 위한 팁다음은 이 학습서를 성공적으로 완료하기 위한 몇 가지 팁입니다.

비디오 사진 사용

팁: 비디오를 시작한 후 학습을 통해 화면이동하면 비디오가 그림 모드로 이동합니다. 사진에서 가장 좋은 경험을 얻으려면 비디오 목차를 닫으십시오. 그림 모드를 사용하여 이 학습서의 태스크를 완료하면서 비디오를 따라갈 수 있습니다. 각 태스크에 대한 시간소인을 클릭하여 수행하십시오.

다음 애니메이션 이미지는 비디오 픽처 인 픽처 및 목차 기능을 사용하는 방법을 보여줍니다.

그림 및 장 사용 방법

커뮤니티에서 도움 받기

이 튜토리얼에 대한 도움이 필요한 경우 Cloud Pak for Data 커뮤니티 토론 포럼에서 질문하거나 응답을 찾을 수 있습니다.

브라우저 창 설정

이 튜토리얼을 완료하는 최적의 경험을 위해 한 브라우저 창에서 Cloud Pak for Data 를 열고 두 애플리케이션 간에 쉽게 전환할 수 있도록 다른 브라우저 창에서 이 튜토리얼 페이지를 열어 두십시오. 따라하기 쉽도록 두 개의 브라우저 창을 나란히 배열하는 것을 고려하십시오.

병행 학습서 및 UI

팁: 사용자 인터페이스에서 이 학습서를 완료하는 동안 안내식 둘러보기가 표시되면 나중에를 클릭하십시오.



전제조건 설정

모델 빌드 및 배치 학습서를 완료하십시오.

학습서 비디오 미리보기 이 태스크를 미리 보려면 00:47에서 시작하는 비디오를 시청하십시오.

모델 빌드 및 배치 학습서를 완료하여 이 학습서에서 사용되는 기계 학습 모델을 작성, 승격 및 배치하십시오.

서비스 프로비저닝

학습서 비디오 미리보기 이 태스크를 미리 보려면 01:14에서 시작하는 비디오를 시청하십시오.

중요: Watson OpenScale 은 댈러스 및 프랑크푸르트 지역에서만 사용 가능합니다. 모델 빌드 및 배치 학습서를 완료한 후에는 댈러스 지역을 사용해야 합니다. 필요한 경우 계속하기 전에 댈러스 지역으로 전환하십시오.

모델 빌드 및 배치 튜토리얼을 완료하는 데 필요한 서비스 외에 Watson OpenScale 서비스도 프로비저닝되어야 합니다. 필요한 서비스를 확인하거나 프로비저닝하려면 다음 단계를 수행하십시오.

  1. Cloud Pak for Data에서 댈러스 지역에 있는지 확인하십시오. 그렇지 않으면 지역 드롭 다운을 클릭한 후 댈러스를 선택하십시오.
    지역 변경

  2. Cloud Pak for Data 탐색 메뉴 탐색 메뉴에서 서비스 > 서비스 인스턴스를 선택하십시오.

  3. 서비스 목록을 보고 watsonx.governance 서비스 인스턴스가 있는지 여부를 판별하십시오.

  4. watsonx.governance 서비스 인스턴스를 작성해야 하는 경우 서비스 추가를 클릭하십시오.

  5. watsonx.governance를 선택하십시오.

    1. 지역에 대해 댈러스를 선택하십시오.

    2. Lite 플랜을 선택하십시오.

    3. 작성을 클릭하십시오.

  6. 모델 빌드 및 배치 학습서에는 다음과 같은 추가 서비스가 필요합니다.

    • Watson Studio
    • Watson Machine Learning
    • IBM Knowledge Catalog
    • Cloud Object Storage

체크포인트 아이콘 진행 상태 확인

다음 이미지는 프로비저닝된 서비스 인스턴스를 표시합니다. 이제 이 학습서를 시작할 준비가 되었습니다.

프로비저닝된 서비스




태스크 1: 노트북을 실행하여 모니터 설정

학습서 비디오 미리보기 이 태스크를 미리 보려면 01:55에서 시작하는 비디오를 보십시오.


샘플 프로젝트에 포함된 두 번째 노트북을 실행하여 다음을 수행하십시오.

  • 모델 및 배치를 페치하십시오.
  • Watson OpenScale을 구성하십시오.
  • 기계 학습 서비스에 대한 서비스 제공자 및 등록을 작성하십시오.
  • 품질 모니터를 구성하십시오.
  • 공정성 모니터를 구성하십시오.
  • 설명 가능성을 구성하십시오.

다음 단계에 따라 샘플 프로젝트에 포함된 노트북을 실행하십시오. 이 노트북은 사용자 인터페이스를 통해 구성할 수도 있는 모델에 대한 모니터를 설정합니다. 그러나 노트북을 사용하여 설정하는 것이 더 빠르고 오류가 적습니다. 각 셀의 코드를 설명하는 노트북의 주석을 읽을 에서 방법니다하 이 작업을 수행하십시오.

  1. Cloud Pak for Data 탐색 메뉴 탐색 메뉴에서 프로젝트 > 모든 프로젝트 보기를 선택하십시오.

  2. AI 통제 프로젝트를 여십시오.

    참고: 이 유스 케이스에 포함된 학습서를 표시하는 안내식 둘러보기를 볼 수 있습니다. 안내식 둘러보기의 링크는 이러한 학습서 지시사항을 엽니다.
  3. 자산 탭을 클릭한 후 노트북으로 이동하십시오.
    왼쪽 탐색

  4. 2-monitor-wml-model-with-watson-openscale 노트북을 여십시오.

  5. 노트북이 읽기 전용 모드이므로 편집 아이콘 편집 을 클릭하여 노트북을 편집 모드로 설정하십시오.

  6. 자원 허브에서 프로젝트를 가져올 때 이 노트북의 첫 번째 셀에는 프로젝트 액세스 토큰이 포함됩니다. 이 노트북에 프로젝트 액세스 토큰이 있는 첫 번째 셀이 없는 경우, 토큰을 생성하려면 계속 메뉴에서 프로젝트 토큰 삽입을 선택하십시오. 이 조치는 새 셀을 프로젝트 토큰을 포함하는 노트북의 첫 번째 셀로 삽입합니다.

  7. IBM Cloud API키 삽입 섹션에서 ibmcloud_api_key 필드에 API키를 붙여넣으십시오.

  8. 셀 > 모두 실행 을 눌러 노트북의 모든 셀을 실행하십시오. 또는 각 셀 및 해당 출력을 탐색하려는 경우 노트북 셀을 셀별로 실행할 수 있습니다.

  9. 노트북을 완료하는 데 1-3분이 소요됩니다. 별표 "In [*]" 가 숫자로 변경되는 것을 셀에서 확인하여 진행상태 셀을 모니터할 수 있습니다 (예: "In [1]").

  10. 노트북 실행 중에 오류가 발생하면 다음 문제점 해결 팁을 시도하십시오.

    • 커널 > 다시 시작 및 출력 지우기 를 눌러 커널을 다시 시작한 후 노트북을 다시 실행하십시오.

    • 기존 Watson OpenScale 배치를 삭제하고 새 서비스 인스턴스를 프로비저닝하십시오 .

    • 선행 또는 후행 공백 없이 지정된 아티팩트 이름을 정확하게 복사하여 붙여넣어 모델 학습서 빌드 및 배치 에서 AI 유스 케이스, 배치 영역 및 배치 이름을 작성했는지 확인하십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 실행이 완료될 때 노트북을 표시합니다. 노트북은 모델에 대한 모니터를 설정하므로 이제 Watson OpenScale에서 배치를 볼 수 있습니다.

완료된 노트북 실행




태스크 2: 모델 평가

학습서 비디오 미리보기 이 태스크를 미리 보려면 03:40에서 시작하는 비디오를 보십시오.

다음 단계에 따라 검증용 데이터를 다운로드하고 해당 데이터를 사용하여 Watson OpenScale에서 모델을 평가하십시오.

  1. 탐색 추적에서 AI 통제 프로젝트를 클릭하십시오.
    탐색 추적

  2. 자산 탭에서 데이터 > 데이터 자산을 클릭하십시오.

  3. !GoldenBank_HoldoutData.csv 데이터 자산의 오버플로우 메뉴 오버플로우 메뉴 를 선택하고 다운로드를 선택하십시오. 모델이 필요에 따라 작동하는지 유효성을 검증하려면 모델 훈련에서 제외된 레이블 지정된 데이터 세트가 필요합니다. 이 CSV 파일에는 홀드아웃 데이터가 포함되어 있습니다.

  4. Watson OpenScale을 시작하십시오. 탐색 메뉴 탐색 메뉴에서 서비스 > 서비스 인스턴스를 선택하십시오.

  5. Watson OpenScale 인스턴스를 여십시오. 프롬프트가 표시되면 Cloud Pak for Data에 등록하는 데 사용한 것과 동일한 인증 정보를 사용하여 로그인하십시오.

  6. Watson OpenScale 서비스 인스턴스 페이지에서 애플리케이션 시작을 클릭하십시오.

  7. 인사이트 대시보드에서 모기지 승인 모델 배치 타일을 클릭하십시오.

  8. 조치 메뉴에서 지금 평가를 선택하십시오.

  9. 가져오기 옵션 목록에서 CSV 파일에서를 선택하십시오.

  10. 프로젝트에서 다운로드한 Golden Bank_HoldoutData.csv 데이터 파일을 사이드 패널로 끄십시오.

  11. 업로드 및 평가를 클릭하십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 Watson OpenScale에서 배치된 모델에 대한 평가 결과를 표시합니다. 이제 모델을 평가했으므로 모델 품질을 관찰할 준비가 되었습니다.

평가된 모델




태스크 3: 품질에 대한 모델 모니터 관찰

학습서 비디오 미리보기 이 태스크를 미리 보려면 04:44에서 시작하는 비디오를 시청하십시오.

Watson OpenScale 품질 모니터는 모델의 품질을 평가하기 위해 메트릭 세트를 생성합니다. 이러한 품질 메트릭을 사용하여 모델이 결과를 얼마나 잘 예측하는지 판별할 수 있습니다. 검증용 데이터를 사용하는 평가가 완료되면 다음 단계에 따라 모델 품질 또는 정확성을 관찰하십시오.

  1. 왼쪽 탐색 패널에서 인사이트 대시보드 아이콘 인사이트 대시보드을 클릭하십시오.

  2. 모기지 승인 모델 배치 타일을 찾으십시오. 배치에 문제가 없으며 품질공정성 테스트가 모두 패스되었습니다. 이는 모델이 필요한 임계값을 충족했음을 의미합니다.

  3. 모기지 승인 모델 배치 타일을 클릭하여 세부사항을 보십시오.

  4. 품질 섹션에서 구성 아이콘 구성을 클릭하십시오. 여기서 이 모니터에 대해 구성된 품질 임계값이 70%이고 사용 중인 품질의 측정이 ROC 곡선 아래 영역임을 확인할 수 있습니다.

  5. 모델 요약으로 이동 을 클릭하여 모델 세부사항 화면으로 돌아가십시오.

  6. 품질 섹션에서 세부사항 아이콘세부사항 을 클릭하여 모델 품질 세부사항 결과를 보십시오. 여기에는 많은 품질 메트릭 계산 및 거짓 긍정 (false positive) 및 거짓 부정 (false negative) 과 함께 올바른 모델 결정을 표시하는 혼동 매트릭스가 표시됩니다. ROC 곡선 아래의 계산된 영역은 0.9 이상이며 이는 0.7 임계값을 초과하므로 모델이 품질 요구사항을 충족합니다.

  7. 탐색 추적에서 모기지 승인 모델 배치 를 클릭하여 모델 세부사항 화면으로 돌아가십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 Watson OpenScale의 품질 세부사항을 표시합니다. 이제 모델 품질을 관찰했으므로 모델 공정성을 관찰할 수 있습니다.

품질




태스크 4: 공정성을 위해 모델 모니터 관찰

학습서 비디오 미리보기 이 태스크를 미리 보려면 06:01에서 시작하는 비디오를 보십시오.

Watson OpenScale 공정성 모니터는 모델의 공정성을 평가하기 위해 메트릭 세트를 생성합니다. 공정성 메트릭을 사용하여 모델이 편향된 결과를 생성하는지 여부를 판별할 수 있습니다. 모델 공정성을 관찰하려면 다음 단계를 수행하십시오.

  1. 공정성 섹션에서 구성 아이콘 구성을 클릭하십시오. 여기에서는 지원자들이 성별에 상관없이 공정하게 대우받을 수 있도록 모델을 검토하고 있다는 것을 알 수 있습니다.여성은 공정성이 측정되고 있는 모니터링되는 그룹으로서 식별되고, 공정성에 대한 임계값은 적어도 80%가 되는 것입니다.공정성 모니터는 이질적 영향 방법을 사용하여 공정성을 판별합니다. 분산 영향은 모니터되는 그룹에 대한 선호되는 결과의 백분율을 참조 그룹에 대한 선호되는 결과의 백분율과 비교합니다.

  2. 모델 요약으로 이동 을 클릭하여 모델 세부사항 화면으로 돌아가십시오.

  3. 공정성 섹션에서 세부사항 아이콘 세부사항 을 클릭하여 모델 공정성 세부 결과를 확인하십시오. 여기서 자동으로 승인되는 남성 및 여성 지원자의 백분율과 함께 공정성 점수가 100%를 초과하여 모델 성과가 필요한 80% 공정성 임계값을 초과하는 것을 확인합합합할합니다.

  4. 식별된 데이터 세트를 기록하십시오. 공정성 메트릭이 가장 정확한지 확인하기 위해 Watson OpenScale 은 변동을 사용하여 다른 기능이 동일하게 유지되는 동안 보호된 속성 및 관련 모델 입력만 변경되는 결과를 판별합니다.섭동은 기능의 값을 참조 그룹에서 모니터된 그룹으로 변경하거나 그 반대로 변경합니다. 이러한 추가 가드레일은 "균형" 데이터 세트가 사용될 때 공정성을 계산하는 데 사용되지만 페이로드 또는 모델 훈련 데이터만 사용하여 공정성 결과를 볼 수도 있습니다.모델이 공정하게 행동하기 때문에, 이 메트릭에 대해 추가로 상세히 설명할 필요가 없습니다.

    공정성 데이터 세트

  5. 모기지 승인 모델 배치 탐색 추적을 클릭하여 모델 세부사항 화면으로 돌아가십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 Watson OpenScale의 공정성 세부사항을 표시합니다. 이제 모델 공정성을 관찰했으므로 모델 설명 가능성을 관찰할 수 있습니다.

공정성




태스크 5: 설명 가능성에 대한 모델 모니터 관찰

학습서 비디오 미리보기 이 태스크를 미리 보려면 07:42에서 시작하는 비디오를 보십시오.

또한 모델이 어떻게 결정을 내리게 되었는지 이해하는 것도 중요합니다. 이러한 이해는 대출 승인에 관련된 사람들에게 의사결정을 설명하고 의사결정이 유효한 모델 소유자를 확인하기 위해 필요합니다. 이러한 의사결정을 이해하려면 다음 단계에 따라 모델 설명 가능성을 관찰하십시오.

  1. 왼쪽 탐색 패널에서 트랜잭션 설명 아이콘 트랜잭션 설명을 클릭하십시오.

  2. 트랜잭션 목록을 보려면 모기지 승인 모델 배치 를 선택하십시오.

  3. 트랜잭션의 경우, 조치 열 아래의 설명을 클릭하십시오. 이 결정에 대한 자세한 설명을 볼 수 있습니다.각 항목이 최종 결과에 얼마나 중요한지에 따라 모델에 대한 가장 중요한 입력이 표시됩니다. 파란색 막대는 모델의 의사결정을 지원하는 경향이 있는 입력을 표시하는 반면, 빨간색 막대는 다른 의사결정을 초래할 수 있는 입력을 표시합니다. 예를 들어, 신청자는 승인되기에 충분한 수입을 가지고 있을 수 있지만 신용 기록이 불량하고 부채가 많으면 모델이 애플리케이션을 거부하게 됩니다.모델 결정의 기초에 대해 만족하려면 이 설명을 검토하십시오.

  4. (선택사항) 모델이 결정을 내리는 방법을 자세히 살펴보려면 검사 탭을 클릭하십시오. 검사 기능을 사용하여 소수의 입력에 대한 작은 변경사항으로 인해 다른 의사결정이 발생하는 민감도 영역을 찾기 위한 의사결정을 분석하고, 일부 실제 입력을 대체로 대체하여 결과에 영향을 미치는지 여부를 확인함으로써 사용자가 직접 민감도를 테스트할 수 있습니다.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 Watson OpenScale에서 트랜잭션의 설명 가능성을 표시합니다. 모델이 정확하고 모든 지원자를 공정하게 처리하는 것으로 판별되었습니다. 이제 해당 라이프사이클의 다음 단계로 모델을 진행할 수 있습니다.

설명가능성




태스크 6: 모델을 사전 프로덕션으로 승격하고 모델을 승인합니다.

학습서 비디오 미리보기 이 태스크를 미리 보려면 09:21에 시작하는 비디오를 보십시오.

다음 단계에 따라 모델 인벤토리에서 AI 유스 케이스의 상태를 변경하고 모델을 승인하십시오.

  1. Cloud Pak for Data로 돌아가서 탐색 메뉴 탐색 메뉴에서 카탈로그 > AI 유스 케이스를 선택하십시오.

  2. 모기지 승인 모델 유스 케이스의 경우 세부사항 보기를 클릭하십시오.

  3. 자산 탭을 클릭하십시오. 모델 추적 아래에서 모델이 이제 유효성 검증 스테이지에 있음을 확인할 수 있습니다.

  4. 상태옆에 있는 편집 아이콘 편집 을 클릭하고 사전 프로덕션으로 승격됨을 선택한 후 업데이트를 클릭하십시오.

  5. Watson OpenScale 인사이트 대시보드로 돌아가십시오.

  6. 모기지 승인 모델 배치 타일을 클릭하십시오.

  7. 조치 메뉴에서 프로덕션 승인을 선택한 후 승인을 클릭하십시오. 이 조치는 AI 운영 팀에게 이제 지정된 프로덕션 공간에 모델을 배치할 수 있음을 전달합니다.

  8. Cloud Pak for Data 탐색 메뉴 탐색 메뉴에서 카탈로그 > AI 유스 케이스를 선택하십시오.

  9. 모기지 승인 모델 유스 케이스의 경우 세부사항 보기를 클릭하십시오.

  10. 자산 탭을 클릭하십시오. 모델 추적아래에서 이제 AI 유스 케이스가 유효성 검증 단계에서 평가되고 승인된 것으로 표시됩니다.

  11. 모기지 승인 모델 배치 를 보고 Watson OpenScale에서 캡처한 패시트를 확인하십시오.

  12. 모델 배치 팩시밀리를 닫으십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 유효성 검증 단계의 모델이 있는 AI 유스 케이스를 표시합니다. 이제 모델이 프로덕션 상태입니다.

유효성 검증 단계의 AI 유스 케이스

모델 공유

학습서 비디오 미리보기 이 태스크를 미리보려면 10:39에 시작하는 비디오를 보십시오.

PDF, HTML및 DOCX 형식의 팩트 시트 또는 AI 유스 케이스에서 보고서를 생성하여 추적 중인 모델에 대한 세부사항을 공유하거나 인쇄할 수 있습니다.

  1. AI 유스 케이스의 자산 탭에서 보고서 내보내기를 클릭하십시오.

  2. 형식 옵션에 대해 형식을 선택하십시오.

  3. 보고서 템플리트의 경우 템플리트를 선택하십시오.

    • 전체 보고서: 기본 보고서의 모든 데이터와 AI 유스 케이스의 모델 및 배치에 대한 세부사항을 포함합니다.

    • 기본 보고서: 개요 및 자산 탭에 표시되는 팩트 세트를 포함합니다.

  4. 내보내기를 클릭하십시오. 보고서가 새 창에 표시됩니다.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 모기지 승인 모델 유스 케이스에 대한 전체 보고서를 표시합니다. 이제 이 보고서를 동료와 공유할 수 있습니다.

AI 유스 케이스 보고서



골든 은행의 데이터 과학자로서 예상하지 못한 위험을 피하고 모든 신청자를 공정하게 처리하는 모기지 승인 모델을 작성했습니다. Jupyter 노트북을 실행하여 모델이 효과적으로 작동하고 의도한 대로 작동한다는 확신을 가지고 생산적인 용도로 배치한 기계 학습 모델에 대한 모니터를 설정했습니다.


정리 (선택사항)

AI 통제 유스 케이스에서 학습서를 다시 가져오려면 다음 아티팩트를 삭제하십시오.

아티팩트 삭제 방법
골든 뱅크 프리프로덕션 공간에서 모기지 승인 모델 배치 배치 삭제
골든 은행 사전 프로덕션 공간 배치 공간 삭제
모기지 승인 모델 유스 케이스 모델 유스 케이스 삭제
모기지 승인 카탈로그 카탈로그 삭제
AI 거버넌스 샘플 프로젝트 프로젝트 삭제

다음 단계

자세한 정보

비디오 시청 IBM OpenPages 를 사용하여 라이프사이클 오퍼레이션을 통해 모델을 관리하는 방법을 알아보십시오.

이 비디오는 이 문서의 개념 및 태스크를 학습하기 위한 시각적 방법을 제공합니다.

상위 주제: 유스 케이스 학습서

일반적인 AI 검색 및 응답
이러한 응답은 제품 문서의 컨텐츠를 기반으로 하는 watsonx.ai 의 대형 언어 모델에 의해 생성됩니다. 자세히 알아보기