0 / 0
영어 버전 문서로 돌아가기
빠른 시작: 공간에서 배치 평가

빠른 시작: 공간에서 배치 평가

배치 영역에서 모델 배치를 평가하여 모델 성능에 대한 인사이트를 얻을 수 있습니다. 평가를 구성할 때 평가 결과를 분석하고 공간에서 직접 트랜잭션 레코드를 모델링할 수 있습니다.

필수 서비스
watsonx.governance
watsonx.ai

기본 워크플로우에는 다음 태스크가 포함됩니다.

  1. 프로젝트를 여십시오. 프로젝트는 데이터 작업을 위해 다른 사용자와 협업하는 위치입니다.
  2. 기계 학습 모델을 빌드하고 저장하십시오. 모델을 빌드하기 위한 다양한 도구 (예: AutoAI 실험, Jupyter 노트북, SPSS Modeler 플로우 또는 파이프라인) 가 있습니다. 데이터 분석 및 모델에 대한 작업을 참조하십시오.
  3. 배치 영역에서 모델을 배치하고 테스트하십시오.
  4. 배치 공간에서 평가를 구성하십시오.
  5. 모델 성능을 평가하십시오.

영역에서 배치를 평가하는 방법에 대해 읽으십시오.

watsonx.governance 는 모델 배치를 평가하여 성능을 측정하고 모델 예측을 이해하는 데 도움을 줍니다. 모델 평가를 구성할 때 watsonx.governance 는 사용자가 검토할 수 있는 서로 다른 통찰을 제공하는 각 평가에 대한 메트릭을 생성합니다. watsonx.governance 는 또한 모델 예측이 판별되는 방법을 이해하는 데 도움이 되도록 평가 중에 처리되는 트랜잭션을 로그합니다.

영역의 배치 평가에 대해 자세히 알아보기

Watson OpenScale에서 모델을 평가하는 다른 방법에 대해 알아보십시오.

영역에서 배치를 평가하는 방법에 대한 비디오 보기

비디오 보기 비디오를 시청하면 이 학습서의 단계를 미리 볼 수 있습니다. 비디오에 표시된 사용자 인터페이스에 약간의 차이가 있을 수 있습니다. 이 비디오는 작성된 학습서와 함께 사용하기 위한 것입니다.

이 비디오는 이 문서의 개념 및 태스크를 학습하기 위한 시각적 방법을 제공합니다.


튜토리얼을 사용하여 영역의 배치 평가

이 학습서에서는 다음 태스크를 완료합니다.





이 학습을 완료하기 위한 팁다음은 이 학습서를 성공적으로 완료하기 위한 몇 가지 팁입니다.

비디오 사진 사용

팁: 비디오를 시작한 후 학습서를 스크롤하면 비디오가 그림 모드로 이동합니다. 픽처 인 픽처를 사용하여 최상의 경험을 얻으려면 비디오 목차를 닫으십시오. 그림 모드를 사용하여 이 학습서의 태스크를 완료할 때 비디오를 따라갈 수 있습니다. 수행할 각 태스크의 시간소인을 클릭하십시오.

다음 애니메이션 이미지는 비디오 픽처 인 픽처 및 목차 기능을 사용하는 방법을 보여줍니다.

그림 및 장을 사용하는 방법

커뮤니티에서 도움 받기

이 학습서에 대한 도움이 필요한 경우 watsonx 커뮤니티 토론 포럼에서 질문하거나 응답을 찾을 수 있습니다.

브라우저 창 설정

이 튜토리얼을 완료하는 최적의 경험을 위해 한 브라우저 창에서 Cloud Pak for Data 를 열고 두 애플리케이션 간에 쉽게 전환할 수 있도록 다른 브라우저 창에서 이 튜토리얼 페이지를 열어 두십시오. 따라하기 쉽도록 두 개의 브라우저 창을 나란히 배열하는 것을 고려하십시오.

병행 학습서 및 UI

팁: 사용자 인터페이스에서 이 학습서를 완료하는 동안 안내식 둘러보기가 표시되면 나중에를 클릭하십시오.



태스크 1: 샘플을 기반으로 프로젝트 작성

학습서 비디오 미리보기 이 태스크를 미리보려면 00:06에 시작하는 비디오를 보십시오.

모델을 빌드하는 데 사용되는 자산을 저장하려면 프로젝트가 필요합니다. 예를 들어, 훈련 데이터, AutoAI 경험 또는 Jupyter 노트북 및 저장된 모델입니다. 다음 단계에 따라 샘플을 기반으로 프로젝트를 작성하십시오.

  1. 자원 허브에서 ML 모델 샘플 프로젝트 평가 에 액세스하십시오.

  2. 프로젝트 작성을 클릭하십시오.

  3. 프로젝트를 Cloud Object Storage 인스턴스에 연관시키도록 프롬프트가 표시되면 목록에서 Cloud Object Storage 인스턴스를 선택하십시오.

  4. 작성을 클릭하십시오.

  5. 프로젝트 가져오기가 완료될 때까지 기다린 후 새 프로젝트 보기 를 클릭하여 프로젝트 및 자산이 성공적으로 작성되었는지 확인하십시오.

  6. 자산 탭을 클릭하여 샘플 프로젝트의 자산을 보십시오.

  7. 모기지 승인 예측 모델을 보십시오. 이 모델은 대출 신청자의 신용 기록, 총 부채, 소득, 대출 금액 및 고용 기록과 같은 여러 요인을 기반으로 모기지 신청자를 승인해야 하는지 여부를 예측합니다.

  8. 프로젝트의 자산 탭으로 돌아가십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 샘플 프로젝트를 표시합니다. 이제 학습서를 시작할 준비가 되었습니다.

샘플 프로젝트




태스크 2: 모델 배치

모델을 배치하기 전에 모델을 새 배치 영역으로 승격해야 합니다. 배치 영역은 입력 데이터 및 환경과 같은 지원 자원을 구성하고, 예측 또는 솔루션을 생성하기 위해 모델 또는 기능을 배치하고, 배치 세부사항을 보거나 편집하는 데 도움을 줍니다. 다음 태스크는 평가 데이터 및 모델을 배치 영역으로 승격한 후 온라인 배치를 작성하는 것입니다.

태스크 2a: 평가 데이터 다운로드

학습서 비디오 미리보기 이 태스크를 미리 보려면 00:34에서 시작하는 비디오를 보십시오.

모델이 필요에 따라 작동하는지 확인하려면 모델 훈련에서 제외된 레이블 지정된 데이터 세트가 필요합니다. 샘플 프로젝트에는 나중에 배치 영역에서 평가를 수행하기 위해 업로드할 수 있는 평가 데이터 (GoldenBank_HoldoutData.csv) 가 포함됩니다. 데이터 세트를 다운로드하려면 다음 단계를 수행하십시오.

  1. GoldenBank_HoldoutData.csv 데이터 자산의 오버플로우 메뉴 오버플로우 메뉴 를 클릭하고 다운로드를 선택하십시오.

태스크 2b: 모델을 배치 영역으로 승격

학습서 비디오 미리보기 이 태스크를 미리 보려면 00:42에서 시작하는 비디오를 보십시오.

모델을 배치하기 전에 모델을 배치 영역으로 승격해야 합니다. 모델을 배치 영역으로 승격하려면 다음 단계를 수행하십시오.

  1. 자산 탭에서 모기지 승인 모델 모델에 대한 오버플로우 메뉴 오버플로우 메뉴 를 클릭하고 공간으로 승격을 선택하십시오.

  2. 기존 배치 영역을 선택하십시오. 배치 영역이 없는 경우:

    1. 새 배치 영역 작성을 클릭하십시오.

    2. 이름으로 다음을 입력하십시오.

      Golden Bank Preproduction Space
      ```   1. Select a storage service.
      
      
    3. 기계 학습 서비스를 선택하십시오.

    4. 배치 단계에 대해 개발 을 선택하십시오.

    5. 작성을 클릭하십시오.

    6. 공간이 준비되면 알림을 닫으십시오.

  3. 승격 후 공간의 모델로 이동 옵션을 선택하십시오.

  4. 승격을 클릭하십시오.

참고: 승격 후 영역의 모델로 이동하는 옵션을 선택하지 않은 경우 탐색 메뉴를 사용하여 배치 로 이동하여 배치 영역 및 모델을 선택할 수 있습니다.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 배치 영역의 모델을 표시합니다.

다음 이미지는 배치 영역의 모델을 표시합니다.

태스크 2c: 모델 배치 작성

학습서 비디오 미리보기 이 태스크를 미리 보려면 01:02에서 시작하는 비디오를 보십시오.

이제 모델이 배치 영역에 있으므로 다음 단계에 따라 모델 배치를 작성하십시오.

  1. 모델이 열려 있는 상태에서 새 배치를 클릭하십시오.

    1. 배치 유형으로 온라인을 선택하십시오.

    2. 배치 이름으로 다음을 입력하십시오.

      Mortgage Approval Model Deployment
      
    3. 작성을 클릭하십시오.

  2. 배치가 완료되면 배치 이름을 클릭하여 배치 세부사항 페이지를 보십시오.

  3. 애플리케이션에서 이 모델에 프로그래밍 방식으로 액세스하는 데 사용할 수 있는 스코어링 엔드포인트를 검토하십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 배치 영역의 모델 배치를 표시합니다.

다음 이미지는 배치 영역의 모델 배치를 표시합니다.




태스크 3: 배치 영역에서 평가 구성

학습서 비디오 미리보기 이 태스크를 미리 보려면 01:19에서 시작하는 비디오를 보십시오.

이 배치 공간에서 평가를 구성하려면 다음 단계를 수행하십시오.

태스크 3a: 모델 세부사항 구성

첫 번째. 모델 세부사항을 구성하려면 다음 단계를 수행하십시오.

  1. 배치에서 평가 탭을 클릭하십시오.
  2. OpenScale 평가 설정 구성을 클릭하십시오.
  3. 모델 입력옆에서 편집 아이콘 편집을 클릭하십시오.

모델 입력 지정

훈련 데이터에는 2진 분류 모델에 적합한 숫자 및 범주형 데이터가 포함되어 있습니다.

  1. 데이터 유형으로 숫자/범주형을 선택하십시오.
  2. 알고리즘 유형에 대해 2진분류를 선택하십시오.
  3. *수동으로 훈련 데이터 세부사항 구성을 선택하십시오.
  4. 저장 후 계속을 클릭하십시오.

훈련 데이터에 연결

훈련 데이터는 Db2 Warehouse on Cloud 인스턴스에 저장됩니다.

  1. 훈련 데이터옆에 있는 편집 아이콘 편집을 클릭하십시오.
  2. 스토리지 유형으로 데이터베이스 또는 클라우드 스토리지 를 선택하십시오.
  3. 위치에 대해 Db2 를 선택하십시오.
  4. 연결 정보를 제공하십시오.
    • 호스트 이름 또는 IP 주소: db2w-ruggyab.us-south.db2w.cloud.ibm.com
    • SSL 포트: 50001
    • 데이터베이스: BLUDB
    • 사용자 이름: CPDEMO
    • 비밀번호: DataFabric@2022IBM
  5. 연결을 클릭하십시오.
  6. 스키마에 대해 AI_MORTGAGE 를 선택하십시오.
  7. 테이블에 대해 MORTGAGE_APPROVAL_TABLE 을 선택하십시오.
  8. 다음 을 클릭하십시오.

레이블 및 기능 열 선택

MORTGAGE_APPROVAL 열은 신청자가 승인되었는지 여부를 표시하며 기능 열에는 승인 의사결정에 기여하는 정보가 포함되어 있습니다.

  1. MORTGAGE_APPROVAL를 검색한 후 다음을 클릭하십시오.
  2. 다음 기능 열을 선택하십시오.
    • GENDER
    • EDUCATION
    • EMPLOYMENT_STATUS
    • MARITAL_STATUS
    • INCOME
    • 온라인으로 적용됨
    • residence
    • YRS_AT_CURRENT_ADDRESS
    • 현재 고용주가 있는 YRS_WITH_CURRENT_고용주
    • 카드 수
    • CREDITCARD_DEBT
    • LOANS
    • Loan_금액
    • CREDIT_SCORE
    • 상업 클라이언트
  3. 다음 을 클릭하십시오.

모델 출력 검사

Watson OpenScale 은 모델에서 처리된 트랜잭션을 추적하고 저장합니다. Watson OpenScale을 준비하려면 모델 배치에 스코어링 요청을 전송하십시오.

  1. 스코어링 메소드에 대해 JSON 페이로드를 선택하십시오.

  2. 샘플 요청 및 응답을 다음 JSON 데이터로 대체하십시오.

    [
       {
          "request": {
                "fields": [
                   "INCOME",
                   "YRS_AT_CURRENT_ADDRESS",
                   "YRS_WITH_CURRENT_EMPLOYER",
                   "NUMBER_OF_CARDS",
                   "CREDITCARD_DEBT",
                   "LOAN_AMOUNT",
                   "CREDIT_SCORE",
                   "PROPERTY_VALUE",
                   "AREA_AVG_PRICE",
                   "LOANS",
                   "GENDER",
                   "EDUCATION",
                   "EMPLOYMENT_STATUS",
                   "MARITAL_STATUS",
                   "APPLIEDONLINE",
                   "RESIDENCE",
                   "COMMERCIAL_CLIENT",
                   "COMM_FRAUD_INV"
                ],
                "values": [
                   [
                      49124,
                      11,
                      12,
                      2,
                      1075,
                      7246,
                      534,
                      550580,
                      null,
                      1,
                      "Male",
                      "Master",
                      "Employed",
                      "Married",
                      "YES",
                      "Private Renting",
                      "FALSE",
                      "FALSE"
                   ]
                ]
          },
          "response": {
                "fields": [
                   "prediction",
                   "probability"
                ],
                "values": [
                   [
                      0,
                      [
                            0.9999447513812154,
                            0.00005524861878453039
                      ]
                   ]
                ]
          }
       }
    ]
    
  3. 지금 전송을 클릭하십시오.

  4. 스코어링 요청 성공 메시지가 표시되면 다음을 클릭하십시오.

모델 출력 세부사항 지정

모델 출력 데이터에서 배치된 모델에 의해 생성된 예측 열과 예측에서 모델의 신뢰도를 포함하는 확률 열을 선택해야 합니다.

  1. 예측확률 열에 대해 적절한 선택란을 선택하십시오.
  2. 저장 을 클릭하십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 완료된 모델 세부사항을 표시합니다. 이제 설명 가능성을 구성할 준비가 되었습니다.

다음 이미지는 완료된 모델 세부사항을 표시합니다.

태스크 3b: 설명 가능성 구성

학습서 비디오 미리보기 이 태스크를 미리 보려면 02:58에서 시작하는 비디오를 시청하십시오.

다음 단계에 따라 설명 가능성을 구성하십시오.

설명 방법을 선택하십시오.

Shapley Additive 설명 또는 SHAP는 가능한 모든 입력 조합을 사용하여 각 입력이 평균 예측 값 또는 신뢰도 점수를 향해 또는 이로부터 멀리 예측을 이동하는 방법을 발견합니다. 로컬 해석 가능 모델-불가지론적 설명 또는 LIME는 각 기능의 중요성을 발견하기 위해 스파스 선형 모델을 빌드합니다. SHAP는 더 철저하고 LIME은 더 빠릅니다.

  1. 일반 설정을 클릭하십시오.
  2. 설명 메소드옆에 있는 편집 아이콘 편집을 클릭하십시오.
  3. SHAP 글로벌 설명 옵션을 설정하십시오.
  4. 로컬 설명 방법에 대해 LIME (확장)을 선택하십시오.
  5. 다음 을 클릭하십시오.

제어 가능한 기능 선택

분석을 실행할 때 제어 가능하게 할 기능을 지정하여 모델 결과를 판별하는 데 가장 중요한 기능을 표시할 수 있습니다.

  1. 제어 가능한 기능 목록을 검토하고 저장을 클릭하십시오.

글로벌 설명 구성

SHAP는 각 특징이 모델 결과에 미치는 영향을 수량화합니다. SHAP는 전역 설명에 적합한 요약 도표를 생성하지만, 단일 예측 설명을 생성할 수도 있습니다.

  1. 설명 가능성아래에서 SHAP를 클릭하십시오.
  2. 공통 설정옆에 있는 편집 아이콘 편집을 클릭하십시오.
    1. 공통 설정에 대한 기본값을 승인하십시오.
    2. 저장 을 클릭하십시오.
  3. 글로벌 설명옆에 있는 편집 아이콘 편집을 클릭하십시오.
    1. 글로벌 설명을 위해 기본값에 액세스하십시오.
    2. 저장 을 클릭하십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 완료된 설명 가능성 구성을 표시합니다. 이제 공정성을 구성할 준비가 되었습니다.

다음 이미지는 완료된 설명 가능성 구성을 표시합니다.

태스크 3c: 공정성 구성

학습서 비디오 미리보기 이 태스크를 미리 보려면 04:06에서 시작하는 비디오를 시청하십시오.

다음 단계에 따라 공정성을 구성하십시오.

구성 유형 선택

공정성을 수동으로 구성하거나 제공된 Jupyter 노트북을 사용하여 생성된 구성 파일을 업로드할 수 있습니다.

  1. 공정성을 클릭하십시오.
  2. 구성옆에 있는 편집 아이콘 편집을 클릭하십시오.
  3. 구성 유형에 대해 수동으로 구성 을 선택하십시오.
  4. 다음 을 클릭하십시오.

선호 결과 선택

이 모델 배치의 경우, 바람직한 결과는 신청자가 모기지에 대해 승인된 경우이며 불리한 결과는 신청자가 승인되지 않은 경우입니다.

  1. 테이블에서 1 값에 대해 선호 를 선택하십시오. 이 값은 신청자가 모기지에 대해 승인되었음을 나타냅니다.
  2. 테이블에서 0 값에 대해 비호의적 을 선택하십시오. 이는 신청자가 모기지에 대해 승인되지 않았음을 나타냅니다.
  3. 다음 을 클릭하십시오.

샘플 크기

모델을 평가하는 데 사용할 데이터 세트에 따라 샘플 크기를 조정하십시오.

  1. 최소 샘플 크기100로 변경하십시오.
  2. 다음 을 클릭하십시오.

메트릭

공정성 모니터는 여러 개의 공정성 메트릭을 추적합니다. 서로 다른 영향은 모니터되는 그룹에 대한 선호하는 결과의 백분율 대 참조 그룹에 대한 선호하는 결과의 백분율의 비율입니다.

  1. 모든 데이터에서 생성된 모니터된 메트릭을 검토하여 모니터된 기능에 적용한 후 피드백 데이터에서 생성된 메트릭을 검토하여 모니터된 기능에 적용하십시오.
  2. 기본 메트릭을 승인하고 다음을 클릭하십시오.
  3. 하위 및 상위 임계값의 기본값을 채택하고 다음을 누르십시오.

모니터할 필드 선택

배치된 모델이 한 그룹에 대해 다른 그룹보다 유리한 결과를 제공하는 경향을 모니터하려고 합니다. 이 경우, 모델에서 성별 편향성을 모니터하려고 합니다.

  1. GENDER 필드를 선택하십시오.
  2. 다음 을 클릭하십시오.
  3. 값이 테이블에 나열되는 경우:
    1. 여성 검사: 모니터됨
    2. 남성: 참조를 확인하십시오.
  4. 값이 테이블에 나열되지 않은 경우 다음을 수행하십시오.
    1. 사용자 정의 값 추가 필드에 Female를 입력하십시오.
    2. 값 추가를 클릭하십시오.
    3. 테이블의 남성 옆에 있는 모니터됨 을 선택하십시오.
    4. 사용자 정의 값 추가 필드에 Female를 입력하십시오.
    5. 값 추가를 클릭하십시오.
    6. 테이블의 남성 옆에 있는 참조 를 선택하십시오.
  5. 다음 을 클릭하십시오.
  6. 모니터되는 그룹의 기본 임계값을 채택하고 저장을 클릭하십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 완료된 공정성 구성을 표시합니다. 이제 품질을 구성할 준비가 되었습니다.

다음 이미지는 완료된 공정성 구성을 표시합니다.

태스크 3d: 품질 구성

학습서 비디오 미리보기 이 태스크를 미리보려면 05:17에서 시작하는 비디오를 보십시오.

다음으로 다음 단계에 따라 품질을 구성하십시오. 품질 모니터는 모델이 정확한 결과를 얼마나 잘 예측하는지 평가합니다.

  1. 품질을 클릭하십시오.
  2. 품질 임계값옆에서 편집 아이콘 편집을 클릭하십시오.
  3. ROC 아래 영역 의 값을 0.7로 변경하십시오.
  4. 다음 을 클릭하십시오.
  5. 최소 샘플 크기100로 변경하십시오.
  6. 저장 을 클릭하십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 완료된 품질 구성을 표시합니다. 이제 드리프트를 구성할 준비가 되었습니다.

다음 이미지는 완료된 품질 구성을 표시합니다.

태스크 3e: 드리프트 구성

학습서 비디오 미리보기 이 태스크를 미리 보려면 05:42에서 시작하는 비디오를 보십시오.

마지막으로 다음 단계에 따라 드리프트를 구성하십시오. 드리프트 모니터는 배치가 최신 상태이고 일관되게 작동하는지 확인합니다.

  1. 드리프트 v2를 클릭하십시오.
  2. 드리프트 아카이브 계산옆에 있는 편집 아이콘 편집을 클릭하십시오.
  3. 계산 옵션에 대해 Watson OpenScale을 선택하십시오. 이 옵션은 Watson OpenScale 에 훈련 데이터의 분석을 수행하여 기능의 데이터 배포를 판별하도록 지시합니다.
  4. 다음 을 클릭하십시오.
  5. 상위 임계값의 기본값을 채택하고 다음을 누르십시오.
  6. 샘플 크기의 기본값을 승인하고 저장을 클릭하십시오.
  7. X 를 클릭하여 창을 닫고 Watson OpenScale 이 모니터를 페치할 때까지 기다리십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 배치 영역에서 완료된 구성을 표시합니다. 이제 모델 배치를 모니터할 준비가 되었습니다.

다음 이미지는 배치 영역에서 완료된 구성을 표시합니다.




태스크 4: 모델 평가

학습서 비디오 미리보기 이 태스크를 미리 보려면 06:22에서 시작하는 비디오를 보십시오.

홀드아웃 데이터를 사용하여 모델을 평가하려면 다음 단계를 수행하십시오.

  1. 조치 메뉴에서 지금 평가를 선택하십시오.

  2. 가져오기 옵션 목록에서 CSV 파일에서를 선택하십시오.

  3. 프로젝트에서 다운로드한 Golden Bank_HoldoutData.csv 데이터 파일을 사이드 패널로 끄십시오.

  4. 업로드 및 평가 를 클릭하고 평가가 완료될 때까지 기다리십시오.

  5. 평가가 완료되면 실행된 테스트 수, 성공한 테스트 수 및 실패한 테스트 수가 표시됩니다. 공정성, 품질, 드리프트글로벌 설명의 결과를 보려면 스크롤하십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 배치된 모델에 대한 평가 결과를 표시합니다. 이제 모델을 평가했으므로 모델 품질을 관찰할 준비가 되었습니다.

평가된 모델




태스크 5: 품질에 대한 모델 모니터 관찰

학습서 비디오 미리보기 이 태스크를 미리 보려면 06:36에서 시작하는 비디오를 보십시오.

Watson OpenScale 품질 모니터는 모델의 품질을 평가하기 위해 메트릭 세트를 생성합니다. 이러한 품질 메트릭을 사용하여 모델이 결과를 얼마나 잘 예측하는지 판별할 수 있습니다. 검증용 데이터를 사용하는 평가가 완료되면 다음 단계에 따라 모델 품질 또는 정확성을 관찰하십시오.

  1. 품질 섹션에서 구성 아이콘 구성을 클릭하십시오. 여기서 이 모니터에 대해 구성된 품질 임계값이 70%이고 사용 중인 품질의 측정이 ROC 곡선 아래 영역임을 확인할 수 있습니다.

  2. X 를 클릭하여 창을 닫고 모델 평가 화면으로 돌아가십시오.

  3. 품질 섹션에서 세부사항 아이콘 세부사항 을 클릭하여 모델 품질 세부사항 결과를 보십시오. 여기에는 많은 품질 메트릭 계산 및 거짓 긍정 (false positive) 및 거짓 부정 (false negative) 과 함께 올바른 모델 결정을 표시하는 혼동 매트릭스가 표시됩니다. ROC 곡선 아래의 계산된 영역은 0.9 이상이며 이는 0.7 임계값을 초과하므로 모델이 품질 요구사항을 충족합니다.

  4. 요약으로 돌아가기 를 클릭하여 모델 세부사항 화면으로 돌아가십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 Watson OpenScale의 품질 세부사항을 표시합니다. 이제 모델 품질을 관찰했으므로 모델 공정성을 관찰할 수 있습니다.

품질




태스크 6: 공정성을 위해 모델 모니터 관찰

학습서 비디오 미리보기 이 태스크를 미리보려면 07:20에서 시작하는 비디오를 보십시오.

Watson OpenScale 공정성 모니터는 모델의 공정성을 평가하기 위해 메트릭 세트를 생성합니다. 공정성 메트릭을 사용하여 모델이 편향된 결과를 생성하는지 여부를 판별할 수 있습니다. 모델 공정성을 관찰하려면 다음 단계를 수행하십시오.

  1. 공정성 섹션에서 구성 아이콘 구성을 클릭하십시오. 여기에서는 지원자들이 성별에 상관없이 공정하게 대우받을 수 있도록 모델을 검토하고 있다는 것을 알 수 있습니다. 여성은 공정성이 측정되고 있는 모니터링되는 그룹으로서 식별되고, 공정성에 대한 임계값은 적어도 80%가 되는 것입니다. 공정성 모니터는 이질적 영향 방법을 사용하여 공정성을 판별합니다. 분산 영향은 모니터되는 그룹에 대한 선호되는 결과의 백분율을 참조 그룹에 대한 선호되는 결과의 백분율과 비교합니다.

  2. X 를 클릭하여 창을 닫고 모델 평가 화면으로 돌아가십시오.

  3. 공정성 섹션에서 세부사항 아이콘 세부사항 을 클릭하여 모델 공정성 세부 결과를 확인하십시오. 여기에서 자동으로 승인되는 남성 및 여성 지원자의 백분율과 함께 공정성 점수가 100%가 넘는 것을 볼 수 있습니다. 따라서 모델 성과는 필요한 80% 공정성 임계값을 훨씬 초과합니다.

  4. 식별된 데이터 세트를 참고하십시오. 공정성 메트릭이 가장 정확한지 확인하기 위해 Watson OpenScale 은 변동을 사용하여 다른 기능이 동일하게 유지되는 동안 보호된 속성 및 관련 모델 입력만 변경되는 결과를 판별합니다. 섭동은 기능의 값을 참조 그룹에서 모니터된 그룹으로 변경하거나 그 반대로 변경합니다. 이러한 추가 가드레일은 "균형" 데이터 세트가 사용될 때 공정성을 계산하는 데 사용되지만 페이로드 또는 모델 훈련 데이터만 사용하여 공정성 결과를 볼 수도 있습니다. 모델이 공정하게 행동하기 때문에, 이 메트릭에 대해 추가로 상세히 설명할 필요가 없습니다.

    공정성 데이터 세트

  5. 요약으로 돌아가기 를 클릭하여 모델 세부사항 화면으로 돌아가십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 Watson OpenScale의 공정성 세부사항을 표시합니다. 이제 모델 공정성을 관찰했으므로 모델 설명 가능성을 관찰할 수 있습니다.

공정성




태스크 7: 드리프트에 대한 모델 모니터 관찰

학습서 비디오 미리보기 이 태스크를 미리 보려면 08:25에서 시작하는 비디오를 보십시오.

Watson OpenScale 드리프트 모니터는 모델에 대한 일관된 결과를 보장하기 위해 시간 경과에 따른 데이터의 변경사항을 측정합니다. 드리프트 평가를 사용하여 모델 출력의 변경사항, 예측의 정확성 및 입력 데이터의 분포를 식별하십시오. 모델 드리프트를 관찰하려면 다음 단계를 수행하십시오.

  1. 드리프트 섹션에서 구성 아이콘 구성을 클릭하십시오. 여기에 드리프트 임계값이 표시됩니다. 출력 드리프트는 모델 신뢰도 분포의 변화를 측정합니다. 모델 품질 드리프트는 예상 런타임 정확도를 훈련 정확도와 비교하여 정확도의 감소를 측정합니다. 기능 드리프트는 중요한 기능에 대한 값 분포의 변경을 측정합니다. 또한 이 구성은 선택된 기능의 수와 가장 중요한 기능을 표시합니다.

  2. X 를 클릭하여 창을 닫고 모델 평가 화면으로 돌아가십시오.

  3. 드리프트 섹션에서 세부사항 아이콘 세부사항 을 클릭하여 모델 드리프트 세부 결과를 확인하십시오. 시계열 차트를 사용하여 각 메트릭 점수가 시간 경과에 따라 어떻게 변경되는지에 대한 기록을 볼 수 있습니다. 값이 낮을수록 좋으므로 이 경우 결과는 구성에 설정된 상한 임계값을 초과합니다. 그런 다음 점수 출력 및 기능 드리프트가 계산되는 방법에 대한 세부사항을 보십시오. 또한 각 기능에 대한 세부사항을 보고 Watson OpenScale 이 생성하는 점수에 기여하는 방법을 이해할 수 있습니다.

  4. 요약으로 돌아가기 를 클릭하여 모델 세부사항 화면으로 돌아가십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 Watson OpenScale의 드리프트 세부사항을 표시합니다. 이제 모델 드리프트를 관찰했으므로 모델 설명 가능성을 관찰할 수 있습니다.

드리프트




태스크 8: 설명 가능성에 대한 모델 모니터 관찰

학습서 비디오 미리보기 이 태스크를 미리 보려면 09:10에 시작하는 비디오를 보십시오.

또한 모델이 어떻게 결정되었는지를 이해하는 것도 중요합니다. 이러한 이해는 대출 승인에 관련된 사람들에게 의사결정을 설명하고 의사결정이 유효한 모델 소유자를 확인하기 위해 필요합니다. 이러한 의사결정을 이해하려면 다음 단계에 따라 모델 설명 가능성을 관찰하십시오.

  1. 트랜잭션 탭을 누르십시오.

  2. 그래프에서 시간 프레임을 선택하여 해당 기간 동안의 트랜잭션 목록을 보십시오.

  3. 트랜잭션의 경우, 조치 열 아래의 설명을 클릭하십시오. 이 결정에 대한 자세한 설명을 볼 수 있습니다. 각 항목이 최종 결과에 얼마나 중요한지에 따라 모델에 대한 가장 중요한 입력이 표시됩니다. 파란색 막대는 모델의 의사결정을 지원하는 경향이 있는 입력을 표시하는 반면, 빨간색 막대는 다른 의사결정을 초래할 수 있는 입력을 표시합니다. 예를 들어, 신청자는 승인되기에 충분한 수입을 가지고 있을 수 있지만 신용 기록이 불량하고 부채가 많으면 모델이 애플리케이션을 거부하게 됩니다. 모델 결정의 기초에 대해 만족하려면 이 설명을 검토하십시오.

  4. 선택사항: 모델이 결정을 내리는 방법을 자세히 살펴보려면 검사 탭을 클릭하십시오. 검사 기능을 사용하여 소수의 입력에 대한 작은 변경사항으로 인해 다른 의사결정이 발생하는 민감도 영역을 찾기 위한 의사결정을 분석하고, 일부 실제 입력을 대체로 대체하여 결과에 영향을 미치는지 여부를 확인함으로써 사용자가 직접 민감도를 테스트할 수 있습니다. 분석 실행 을 클릭하여 Watson OpenScale 이 다른 결과를 전달하는 데 필요한 최소 변경사항을 표시하도록 하십시오. 제어 가능한 기능만 분석 을 선택하여 제어 가능한 기능만으로 변경사항을 제한하십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 Watson OpenScale에서 트랜잭션의 설명 가능성을 표시합니다. 모델이 정확하고 모든 지원자를 공정하게 처리하는 것으로 판별되었습니다. 이제 해당 라이프사이클의 다음 단계로 모델을 진행할 수 있습니다.

설명가능성



다음 단계

다음 추가 학습서를 시도하십시오.

추가 자원

  • 추가 비디오 보기

  • watsonx의 개요

  • 자원 허브에서 샘플 데이터 세트, 프로젝트, 모델, 프롬프트 및 노트북을 찾아 실제 경험을 얻을 수 있습니다.

    데이터 분석 및 모델 빌드를 시작하기 위해 프로젝트에 추가할 수 있는 노트북 노트북 .

    노트북, 데이터 세트, 프롬프트 및 기타 자산을 포함하여 가져올 수 있는 프로젝트 프로젝트 .

    모델을 세분화, 분석 및 빌드하기 위해 프로젝트에 추가할 수 있는 데이터 세트 데이터 세트 .

    기본 모델을 프롬프트하기 위해 프롬프트 랩에서 사용할 수 있는 프롬프트 프롬프트 .

    프롬프트 랩에서 사용할 수 있는 모델 Foundation 모델 .

상위 주제: 빠른 시작 학습서

일반적인 AI 검색 및 응답
이러한 응답은 제품 문서의 컨텐츠를 기반으로 하는 watsonx.ai 의 대형 언어 모델에 의해 생성됩니다. 자세히 알아보기