빠른 시작: 공간에서 배치 평가

이 태스크를 미리보려면 00:06에 시작하는 비디오를 보십시오.

모델을 빌드하는 데 사용되는 자산을 저장하려면 프로젝트가 필요합니다. 예를 들어, 훈련 데이터, AutoAI 경험 또는 Jupyter 노트북 및 저장된 모델입니다. 다음 단계에 따라 샘플을 기반으로 프로젝트를 작성하십시오.

1. 자원 허브에서 ML 모델 샘플 프로젝트 평가 에 액세스하십시오.

2. 프로젝트 작성을 클릭하십시오.

3. 프로젝트를 Cloud Object Storage 인스턴스에 연관시키도록 프롬프트가 표시되면 목록에서 Cloud Object Storage 인스턴스를 선택하십시오.

4. 작성을 클릭하십시오.

5. 프로젝트 가져오기가 완료될 때까지 기다린 후 새 프로젝트 보기 를 클릭하여 프로젝트 및 자산이 성공적으로 작성되었는지 확인하십시오.

6. 자산 탭을 클릭하여 샘플 프로젝트의 자산을 보십시오.

7. 모기지 승인 예측 모델을 보십시오. 이 모델은 대출 신청자의 신용 기록, 총 부채, 소득, 대출 금액 및 고용 기록과 같은 여러 요인을 기반으로 모기지 신청자를 승인해야 하는지 여부를 예측합니다.

8. 프로젝트의 자산 탭으로 돌아가십시오.

모델을 배치하기 전에 모델을 새 배치 영역으로 승격해야 합니다. 배치 영역은 입력 데이터 및 환경과 같은 지원 자원을 구성하고, 예측 또는 솔루션을 생성하기 위해 모델 또는 기능을 배치하고, 배치 세부사항을 보거나 편집하는 데 도움을 줍니다. 다음 태스크는 평가 데이터 및 모델을 배치 영역으로 승격한 후 온라인 배치를 작성하는 것입니다.

이 태스크를 미리 보려면 01:19에서 시작하는 비디오를 보십시오.

이 배치 공간에서 평가를 구성하려면 다음 단계를 수행하십시오.

이 태스크를 미리 보려면 06:22에서 시작하는 비디오를 보십시오.

홀드아웃 데이터를 사용하여 모델을 평가하려면 다음 단계를 수행하십시오.

1. 조치 메뉴에서 지금 평가를 선택하십시오.

2. 가져오기 옵션 목록에서 CSV 파일에서를 선택하십시오.

3. 프로젝트에서 다운로드한 Golden Bank_HoldoutData.csv 데이터 파일을 사이드 패널로 끄십시오.

4. 업로드 및 평가 를 클릭하고 평가가 완료될 때까지 기다리십시오.

5. 평가가 완료되면 실행된 테스트 수, 성공한 테스트 수 및 실패한 테스트 수가 표시됩니다. 공정성, 품질, 드리프트및 글로벌 설명의 결과를 보려면 스크롤하십시오.

이 태스크를 미리 보려면 06:36에서 시작하는 비디오를 보십시오.

Watson OpenScale 품질 모니터는 모델의 품질을 평가하기 위해 메트릭 세트를 생성합니다. 이러한 품질 메트릭을 사용하여 모델이 결과를 얼마나 잘 예측하는지 판별할 수 있습니다. 검증용 데이터를 사용하는 평가가 완료되면 다음 단계에 따라 모델 품질 또는 정확성을 관찰하십시오.

1. 품질 섹션에서 구성 아이콘 을 클릭하십시오. 여기서 이 모니터에 대해 구성된 품질 임계값이 70%이고 사용 중인 품질의 측정이 ROC 곡선 아래 영역임을 확인할 수 있습니다.

2. X 를 클릭하여 창을 닫고 모델 평가 화면으로 돌아가십시오.

3. 품질 섹션에서 세부사항 아이콘 을 클릭하여 모델 품질 세부사항 결과를 보십시오. 여기에는 많은 품질 메트릭 계산 및 거짓 긍정 (false positive) 및 거짓 부정 (false negative) 과 함께 올바른 모델 결정을 표시하는 혼동 매트릭스가 표시됩니다. ROC 곡선 아래의 계산된 영역은 0.9 이상이며 이는 0.7 임계값을 초과하므로 모델이 품질 요구사항을 충족합니다.

4. 요약으로 돌아가기 를 클릭하여 모델 세부사항 화면으로 돌아가십시오.

이 태스크를 미리보려면 07:20에서 시작하는 비디오를 보십시오.

Watson OpenScale 공정성 모니터는 모델의 공정성을 평가하기 위해 메트릭 세트를 생성합니다. 공정성 메트릭을 사용하여 모델이 편향된 결과를 생성하는지 여부를 판별할 수 있습니다. 모델 공정성을 관찰하려면 다음 단계를 수행하십시오.

1. 공정성 섹션에서 구성 아이콘 을 클릭하십시오. 여기에서는 지원자들이 성별에 상관없이 공정하게 대우받을 수 있도록 모델을 검토하고 있다는 것을 알 수 있습니다. 여성은 공정성이 측정되고 있는 모니터링되는 그룹으로서 식별되고, 공정성에 대한 임계값은 적어도 80%가 되는 것입니다. 공정성 모니터는 이질적 영향 방법을 사용하여 공정성을 판별합니다. 분산 영향은 모니터되는 그룹에 대한 선호되는 결과의 백분율을 참조 그룹에 대한 선호되는 결과의 백분율과 비교합니다.

2. X 를 클릭하여 창을 닫고 모델 평가 화면으로 돌아가십시오.

3. 공정성 섹션에서 세부사항 아이콘 을 클릭하여 모델 공정성 세부 결과를 확인하십시오. 여기에서 자동으로 승인되는 남성 및 여성 지원자의 백분율과 함께 공정성 점수가 100%가 넘는 것을 볼 수 있습니다. 따라서 모델 성과는 필요한 80% 공정성 임계값을 훨씬 초과합니다.

4. 식별된 데이터 세트를 참고하십시오. 공정성 메트릭이 가장 정확한지 확인하기 위해 Watson OpenScale 은 변동을 사용하여 다른 기능이 동일하게 유지되는 동안 보호된 속성 및 관련 모델 입력만 변경되는 결과를 판별합니다. 섭동은 기능의 값을 참조 그룹에서 모니터된 그룹으로 변경하거나 그 반대로 변경합니다. 이러한 추가 가드레일은 "균형" 데이터 세트가 사용될 때 공정성을 계산하는 데 사용되지만 페이로드 또는 모델 훈련 데이터만 사용하여 공정성 결과를 볼 수도 있습니다. 모델이 공정하게 행동하기 때문에, 이 메트릭에 대해 추가로 상세히 설명할 필요가 없습니다.

   

5. 요약으로 돌아가기 를 클릭하여 모델 세부사항 화면으로 돌아가십시오.

이 태스크를 미리 보려면 08:25에서 시작하는 비디오를 보십시오.

Watson OpenScale 드리프트 모니터는 모델에 대한 일관된 결과를 보장하기 위해 시간 경과에 따른 데이터의 변경사항을 측정합니다. 드리프트 평가를 사용하여 모델 출력의 변경사항, 예측의 정확성 및 입력 데이터의 분포를 식별하십시오. 모델 드리프트를 관찰하려면 다음 단계를 수행하십시오.

1. 드리프트 섹션에서 구성 아이콘 을 클릭하십시오. 여기에 드리프트 임계값이 표시됩니다. 출력 드리프트는 모델 신뢰도 분포의 변화를 측정합니다. 모델 품질 드리프트는 예상 런타임 정확도를 훈련 정확도와 비교하여 정확도의 감소를 측정합니다. 기능 드리프트는 중요한 기능에 대한 값 분포의 변경을 측정합니다. 또한 이 구성은 선택된 기능의 수와 가장 중요한 기능을 표시합니다.

2. X 를 클릭하여 창을 닫고 모델 평가 화면으로 돌아가십시오.

3. 드리프트 섹션에서 세부사항 아이콘 을 클릭하여 모델 드리프트 세부 결과를 확인하십시오. 시계열 차트를 사용하여 각 메트릭 점수가 시간 경과에 따라 어떻게 변경되는지에 대한 기록을 볼 수 있습니다. 값이 낮을수록 좋으므로 이 경우 결과는 구성에 설정된 상한 임계값을 초과합니다. 그런 다음 점수 출력 및 기능 드리프트가 계산되는 방법에 대한 세부사항을 보십시오. 또한 각 기능에 대한 세부사항을 보고 Watson OpenScale 이 생성하는 점수에 기여하는 방법을 이해할 수 있습니다.

4. 요약으로 돌아가기 를 클릭하여 모델 세부사항 화면으로 돌아가십시오.

이 태스크를 미리 보려면 09:10에 시작하는 비디오를 보십시오.

또한 모델이 어떻게 결정되었는지를 이해하는 것도 중요합니다. 이러한 이해는 대출 승인에 관련된 사람들에게 의사결정을 설명하고 의사결정이 유효한 모델 소유자를 확인하기 위해 필요합니다. 이러한 의사결정을 이해하려면 다음 단계에 따라 모델 설명 가능성을 관찰하십시오.

1. 트랜잭션 탭을 누르십시오.

2. 그래프에서 시간 프레임을 선택하여 해당 기간 동안의 트랜잭션 목록을 보십시오.

3. 트랜잭션의 경우, 조치 열 아래의 설명을 클릭하십시오. 이 결정에 대한 자세한 설명을 볼 수 있습니다. 각 항목이 최종 결과에 얼마나 중요한지에 따라 모델에 대한 가장 중요한 입력이 표시됩니다. 파란색 막대는 모델의 의사결정을 지원하는 경향이 있는 입력을 표시하는 반면, 빨간색 막대는 다른 의사결정을 초래할 수 있는 입력을 표시합니다. 예를 들어, 신청자는 승인되기에 충분한 수입을 가지고 있을 수 있지만 신용 기록이 불량하고 부채가 많으면 모델이 애플리케이션을 거부하게 됩니다. 모델 결정의 기초에 대해 만족하려면 이 설명을 검토하십시오.

4. 선택사항: 모델이 결정을 내리는 방법을 자세히 살펴보려면 검사 탭을 클릭하십시오. 검사 기능을 사용하여 소수의 입력에 대한 작은 변경사항으로 인해 다른 의사결정이 발생하는 민감도 영역을 찾기 위한 의사결정을 분석하고, 일부 실제 입력을 대체로 대체하여 결과에 영향을 미치는지 여부를 확인함으로써 사용자가 직접 민감도를 테스트할 수 있습니다. 분석 실행 을 클릭하여 Watson OpenScale 이 다른 결과를 전달하는 데 필요한 최소 변경사항을 표시하도록 하십시오. 제어 가능한 기능만 분석 을 선택하여 제어 가능한 기능만으로 변경사항을 제한하십시오.