0 / 0
영어 버전 문서로 돌아가기
데이터 사이언스 및 MLOps 튜토리얼: 모델 모니터링을 사용하여 AI 파이프라인 조정

데이터 사이언스 및 MLOps 튜토리얼: 모델 모니터링을 사용하여 AI 파이프라인 조정

Data Science및 MLOps 유스 케이스의 외부 데이터 소스에 저장된 간결하고 사전 처리된 최신 데이터를 전달하기 위해 엔드-투-엔드 파이프라인을 작성하려면 이 학습서를 사용하십시오. 목표는 오케스트레이션 파이프라인을 사용하여 엔드-투-엔드 워크플로우를 조정하여 자동화되고 일관되며 반복 가능한 결과를 생성하는 것입니다. 파이프라인은 다음을 사용합니다.Data Refinery 그리고AutoAI, 기능 엔지니어링 및 하이퍼파라미터 최적화와 같은 모델 구축 프로세스의 여러 측면을 자동화합니다. AutoAI 는 후보 알고리즘의 순위를 지정한 후 최상의 모델을 선택합니다.

빠른 시작: 이 학습서의 샘플 프로젝트를 아직 작성하지 않은 경우, 자원 허브에서 데이터 사이언스 및 MLOps 샘플 프로젝트 에 액세스하십시오.

이 튜토리얼의 내용은 골든 은행이 온라인 신청을 위한 특별 저이자율 모기지 갱신을 제공함으로써 사업을 확장하기를 원한다는 것입니다. 온라인 애플리케이션은 은행의 고객 범위를 확장하고 은행의 애플리케이션 처리 비용을 줄일 수 있습니다. 대출 기관의 의사 결정을 돕기 위해 팀은 오케스트레이션 파이프라인을 사용하여 모든 모기지 신청자에 대한 최신 데이터를 전달하는 데이터 파이프라인을 작성합니다. 데이터는 Db2 Warehouse에 저장됩니다. 데이터가 잠재적으로 불완전하거나 오래되었거나 데이터 개인정보 보호 및 주권 정책으로 인해 난독화되거나 완전히 액세스 불가능할 수 있으므로 데이터를 준비해야 합니다. 그런 다음 팀은 신뢰할 수 있는 데이터에서 모기지 승인 모델을 빌드하고 사전 프로덕션 환경에서 모델을 배치하고 테스트합니다. 마지막으로 팀은 노트북을 사용하여 Watson OpenScale 모니터를 구성한 후 Watson OpenScale 의 모니터를 평가하고 관찰하여 모델이 모든 신청자를 공정하게 처리하는지 확인합니다.

다음 애니메이션 이미지는 이 학습서의 끝에서 수행할 작업에 대한 빠른 미리보기를 제공합니다. 파이프라인을 편집 및 실행하여 기계 학습 모델을 빌드 및 배치하고, 노트북을 실행하여 모니터를 구성하고, 모델의 유효성을 검증합니다. 더 큰 이미지를 보려면 이미지를 클릭하십시오.

애니메이션 이미지

튜토리얼 미리보기

이 학습서에서는 다음 태스크를 완료합니다.

Watson OpenScale을 사용하여 모델을 모니터하는 방법을 계속 확인하려면 태스크 6-10을 완료하십시오.

비디오 시청 비디오를 시청하면 이 학습서의 단계를 미리 볼 수 있습니다. 비디오에 표시된 사용자 인터페이스에 약간의 차이가 있을 수 있습니다. 이 비디오는 작성된 학습서와 함께 사용하기 위한 것입니다.

이 비디오는 이 문서의 개념 및 태스크를 학습하기 위한 시각적 방법을 제공합니다.





이 학습을 완료하기 위한 팁
다음은 이 학습서를 성공적으로 완료하기 위한 몇 가지 팁입니다.

비디오 사진 사용

팁: 비디오를 시작한 후 학습을 통해 화면이동하면 비디오가 그림 모드로 이동합니다. 사진에서 가장 좋은 경험을 얻으려면 비디오 목차를 닫으십시오. 그림 모드를 사용하여 이 학습서의 태스크를 완료하면서 비디오를 따라갈 수 있습니다. 각 태스크에 대한 시간소인을 클릭하여 수행하십시오.

다음 애니메이션 이미지는 비디오 픽처 인 픽처 및 목차 기능을 사용하는 방법을 보여줍니다.

그림 및 장 사용 방법

커뮤니티에서 도움 받기

이 튜토리얼에 대한 도움이 필요한 경우 Cloud Pak for Data 커뮤니티 토론 포럼에서 질문하거나 응답을 찾을 수 있습니다.

브라우저 창 설정

이 튜토리얼을 완료하는 최적의 경험을 위해 한 브라우저 창에서 Cloud Pak for Data 를 열고 두 애플리케이션 간에 쉽게 전환할 수 있도록 다른 브라우저 창에서 이 튜토리얼 페이지를 열어 두십시오. 따라하기 쉽도록 두 개의 브라우저 창을 나란히 배열하는 것을 고려하십시오.

병행 학습서 및 UI

팁: 사용자 인터페이스에서 이 학습서를 완료하는 동안 안내식 둘러보기가 표시되면 나중에를 클릭하십시오.



전제조건 설정

Cloud Pak for Data as a Service 가입

Cloud Pak for Data as a Service 에 등록하고 데이터 통합 유스 케이스에 필요한 서비스를 프로비저닝해야 합니다.

  • 기존 Cloud Pak for Data as a Service 계정이 있는 경우 이 튜토리얼을 시작할 수 있습니다. Lite 플랜 계정이 있는 경우에는 계정당 한 명의 사용자만 이 학습서를 실행할 수 있습니다.
  • Cloud Pak for Data as a Service 계정이 아직 없는 경우 등록하십시오.

필요한 프로비저닝된 서비스 확인

학습서 비디오 미리보기 이 태스크를 미리 보려면 00:50에서 시작하는 비디오를 시청하십시오.

필요한 서비스를 확인하거나 프로비저닝하려면 다음 단계를 수행하십시오.

  1. Cloud Pak for Data 탐색 메뉴 탐색 메뉴에서 서비스 > 서비스 인스턴스를 선택하십시오.

  2. 제품 드롭 다운 목록을 사용하여 기존 Watson Studio 서비스 인스턴스가 있는지 여부를 판별하십시오.

  3. Watson Studio 서비스 인스턴스를 작성해야 하는 경우 서비스 추가를 클릭하십시오.

    1. Watson Studio를 선택하십시오.

    2. Lite 플랜을 선택하십시오.

    3. 작성을 클릭하십시오.

  4. Watson Studio 서비스가 프로비저닝되는 동안 기다리십시오. 완료하는 데 몇 분이 걸릴 수 있습니다.

  5. 다음과 같은 추가 서비스를 확인하거나 프로비저닝하려면 다음 단계를 반복하십시오.

    • Watson Machine Learning
    • Cloud Object Storage
    • watsonx.governance -배치된 모델을 모니터하려는 경우

체크포인트 아이콘 진행 상태 확인

다음 이미지는 프로비저닝된 서비스 인스턴스를 표시합니다.

프로비저닝된 서비스

샘플 프로젝트 작성

학습서 비디오 미리보기 이 태스크를 미리 보려면 01:27에서 시작하는 비디오를 보십시오.

이 학습서에 대한 샘플 프로젝트가 이미 있는 경우 이 태스크를 건너뛰십시오. 그렇지 않으면, 다음 단계를 수행하십시오.

  1. 자원 허브에서 데이터 사이언스 및 MLOps 샘플 프로젝트 에 액세스하십시오.

  2. 프로젝트 작성을 클릭하십시오.

  3. 프로젝트를 Cloud Object Storage 인스턴스에 연관시키도록 프롬프트가 표시되면 목록에서 Cloud Object Storage 인스턴스를 선택하십시오.

  4. 작성을 클릭하십시오.

  5. 프로젝트 가져오기가 완료될 때까지 기다린 후 새 프로젝트 보기 를 클릭하여 프로젝트 및 자산이 성공적으로 작성되었는지 확인하십시오.

  6. 이 학습서의 자산을 보려면 자산 탭을 클릭하십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 샘플 프로젝트의 자산 탭을 표시합니다. 이제 학습서를 시작할 준비가 되었습니다.

샘플 프로젝트

참고: 이 유스 케이스에 포함된 학습서를 표시하는 안내식 둘러보기를 볼 수 있습니다. 안내식 둘러보기의 링크는 이러한 학습서 지시사항을 엽니다.

Watson Machine Learning 서비스를 샘플 프로젝트와 연관시키십시오.

학습서 비디오 미리보기 이 태스크를 미리 보려면 02:17에 시작하는 비디오를 보십시오.

Watson Machine Learning 을 사용하여 모델을 작성하고 배치하므로 다음 단계에 따라 Watson Machine Learning 서비스 인스턴스를 샘플 프로젝트와 연관시키십시오.

  1. 데이터 사이언스 및 MLOps 프로젝트에서 관리 탭을 클릭하십시오.

  2. 서비스 및 통합 페이지를 클릭하십시오.

  3. 서비스 연관을 클릭하십시오.

  4. Watson Machine Learning 서비스 인스턴스 옆에 있는 상자를 선택하십시오.

  5. 연관을 클릭하십시오.

  6. 취소 를 클릭하여 서비스 및 통합 페이지로 돌아가십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 Watson Machine Learning 서비스가 나열된 서비스 및 통합 페이지를 표시합니다. 이제 샘플 프로젝트를 작성할 준비가 되었습니다.

서비스를 프로젝트와 연관




태스크 1: 샘플 프로젝트의 자산 보기

학습서 비디오 미리보기 이 태스크를 미리 보려면 02:37에 시작하는 비디오를 보십시오.

샘플 프로젝트에는 연결, 데이터 정의, 하나의 Data Refinery 플로우 및 파이프라인을 포함한 여러 자산이 포함되어 있습니다. 해당 자산을 보려면 다음 단계를 수행하십시오.

  1. 데이터 사이언스 및 MLOps 프로젝트에서 자산 탭을 클릭한 후 모든 자산을 보십시오.

  2. Data Refinery 플로우 및 파이프라인에서 사용되는 데이터 자산의 목록을 봅니다. 이러한 자산은 AI_MORTGAGE 스키마의 Data Fabric 평가판- Db2 Warehouse 연결에 저장됩니다. 자산 가져오기를 클릭한 후 Data Fabric 평가판- Db2 Warehouse > AI_MORTGAGE로 이동하십시오. 다음 이미지는 해당 연결의 자산을 표시합니다.

    Db2 Warehouse 테이블

  3. Mortgage_Data_Approvals_flow Data Refinery 플로우는 각 모기지 신청자에 대한 데이터를 통합합니다. 통합 데이터에는 개인 식별 정보, 애플리케이션 세부사항, 신용 점수, 상업적 구매자로서의 상태, 마지막으로 각 신청자의 선택된 주택 가격이 포함됩니다. 그런 다음 플로우는 결합된 데이터를 포함하는 프로젝트에서 이름이 Mortgage_Data_with_Approvals_DS.csv 인 순차 파일을 작성합니다. 다음 이미지는 Mortgage_Data_Approvals_flow Data Refinery 플로우를 표시합니다.

    모기지 데이터 승인 플로우

체크포인트 아이콘 진행 상태 확인

다음 이미지는 샘플 프로젝트의 모든 자산을 표시합니다. 이제 샘플 프로젝트에서 파이프라인을 탐색할 준비가 되었습니다.

다음 이미지는 샘플 프로젝트의 모든 자산을 표시합니다.




태스크 2: 기존 파이프라인 탐색

학습서 비디오 미리보기 이 태스크를 미리 보려면 03:25에서 시작하는 비디오를 보십시오.

샘플 프로젝트에는 다음 태스크를 자동화하는 오케스트레이션 파이프라인이 포함되어 있습니다.

  • 기존 Data Refinery 작업을 실행하십시오.

  • AutoAI 실험을 작성하십시오.

  • AutoAI 실험을 실행하고 Data Refinery 작업의 결과 출력 파일을 훈련 데이터로 사용하는 최상의 성능 모델을 저장하십시오.

  • 배치 영역을 작성하십시오.

  • 저장된 모델을 배치 영역으로 승격하십시오.

파이프라인을 탐색하려면 다음 단계를 수행하십시오.

  1. 데이터 사이언스 및 MLOps 프로젝트의 자산 탭에서 모든 자산을 보십시오.

  2. 모기지 승인 파이프라인-데이터 사이언스 를 클릭하여 파이프라인을 여십시오.

  3. 모기지 승인 데이터 통합 Data Refinery 작업을 두 번 클릭하십시오. 이 작업은 Db2 Warehouse on Cloud 연결의 다양한 테이블을 AutoAI 실험에 대한 훈련 데이터로 사용되는 응집된 레이블의 데이터 세트로 결합합니다. 파이프라인으로 돌아가려면 취소 를 클릭하십시오.

  4. 상태 확인 조건을 클릭하고 편집을 선택하십시오. 이 조건은 완료됨 또는 경고와 함께 완료됨값으로 Data Refinery 작업 완료를 확인하기 위한 파이프라인의 의사결정 지점입니다. 파이프라인으로 돌아가려면 취소 를 클릭하십시오.

  5. AutoAI 실험 작성 노드를 두 번 클릭하여 설정을 확인하십시오. 이 노드는 설정을 사용하여 AutoAI 실험을 작성합니다.

    1. 다음 설정에 대한 값을 검토하십시오.

      • AutoAI 실험 이름

      • 범위

      • 예측 유형

      • 예측 열

      • 긍정 클래스

      • 훈련 데이터 분할 비율

      • 포함할 알고리즘

      • 사용할 알고리즘

      • 최적화 지표

    2. 취소 를 클릭하여 설정을 닫으십시오.

  6. AutoAI 실험 실행 노드를 두 번 클릭하여 설정을 확인하십시오. 이 노드는 모기지 승인 통합 Data Refinery 작업의 출력을 훈련 데이터로 사용하는 AutoAI 실험 작성 노드에서 작성된 AutoAI 실험을 실행합니다.

    1. 다음 설정에 대한 값을 검토하십시오.

      • AutoAI 실험

      • 훈련 데이터 자산

      • 모델 이름 접두어

    2. 취소 를 클릭하여 설정을 닫으십시오.

  7. AutoAI 실험 실행배치 공간 작성 노드 사이에서 모델을 배치하시겠습니까? 편집을 선택하십시오. 이 조건에 대한 True 값은 배치 영역을 계속 작성하기 위한 파이프라인의 의사결정 지점입니다. 파이프라인으로 돌아가려면 취소 를 클릭하십시오.

  8. 배치 공간 작성 노드를 두 번 클릭하여 설정을 업데이트하십시오. 이 노드는 지정된 이름으로 새 배치 영역을 작성하며 Cloud Object Storage 및 Watson Machine Learning 서비스에 대한 입력이 필요합니다.

    1. 새 공간 이름 설정의 값을 검토하십시오.

    2. 새 영역 COS 인스턴스 CRN 필드의 경우 목록에서 Cloud Object Storage 인스턴스를 선택하십시오.

    3. 새 공간 WML 인스턴스 CRN 필드의 경우 목록에서 Watson Machine Learning 인스턴스를 선택하십시오.

    4. 저장 을 클릭하십시오.

  9. 배치 공간으로 모델 승격 노드를 두 번 클릭하여 설정을 확인하십시오. 이 노드는 AutoAI 실험 실행 노드의 최상의 모델을 배치 공간 작성 노드에서 작성된 배치 공간으로 승격합니다.

    1. 다음 설정에 대한 값을 검토하십시오.

      • 소스 자산

      • 대상

    2. 취소 를 클릭하여 설정을 닫으십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 초기 파이프라인을 표시합니다. 이제 파이프라인을 편집하여 노드를 추가할 준비가 되었습니다.

초기 파이프라인




태스크 3: 파이프라인에 노드 추가

학습서 비디오 미리보기 이 태스크를 미리보려면 05:41에서 시작하는 비디오를 보십시오.

파이프라인은 모델을 작성하고 배치 영역을 작성한 후 배치 영역으로 승격시킵니다. 온라인 배치를 작성하려면 노드를 추가해야 합니다. 다음 단계에 따라 파이프라인을 편집하여 온라인 배치 작성을 자동화하십시오.

  1. 온라인 배치 작성 노드를 캔버스에 추가하십시오.

    1. 노드 팔레트에서 작성 섹션을 펼치십시오.

    2. 온라인 배치 작성 노드를 캔버스로 끌어 배치 공간으로 모델 승격 노드 뒤에 노드를 놓으십시오.

  2. 화살표를 보려면 배치 공간으로 모델 승격 노드 위로 마우스를 이동하십시오. 화살표를 온라인 배치 작성 노드에 연결하십시오.

    참고: 파이프라인의 노드 이름은 다음 애니메이션 이미지와 다를 수 있습니다.

    파이프라인 연결 노드

  3. 주석 상자의 원을 노드에 연결하여 승격된 모델의 온라인 배치 작성 주석을 온라인 배치 작성 노드에 연결하십시오.

    참고: 파이프라인의 노드 이름은 다음 애니메이션 이미지와 다를 수 있습니다.

    파이프라인 주석

  4. 온라인 배치 작성 노드를 두 번 클릭하여 설정을 확인하십시오.

  5. 노드 이름을 Create Online Deployment로 변경하십시오.

  6. ML 자산옆의 메뉴에서 다른 노드에서 선택 을 클릭하십시오.

    다른 노드 ML 자산에서 선택

  7. 목록에서 배치 공간으로 모델 승격 노드를 선택하십시오. 노드 ID winning_model 이 선택되었습니다.

  8. 새 배치 이름Mortgage approval model deployment - Data Science를 입력하십시오.

  9. 작성 모드에 대해 겹쳐쓰기를 선택하십시오.

  10. 저장 을 클릭하여 온라인 배치 작성 노드 설정을 저장하십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 완료된 파이프라인을 표시합니다. 이제 파이프라인을 실행할 준비가 되었습니다.

완료된 파이프라인




태스크 4: 파이프라인 실행

학습서 비디오 미리보기 이 태스크를 미리 보려면 06:57에서 시작하는 비디오를 보십시오.

파이프라인이 완료되었으므로 다음 단계에 따라 파이프라인을 실행하십시오.

  1. 도구 모음에서 파이프라인 실행 > 평가판 실행을 클릭하십시오.

  2. 파이프라인 매개변수 정의 페이지에서 배치에 대해 True 를 선택하십시오.

    • True로 설정하면 파이프라인이 배치된 모델을 확인하고 모델을 스코어링합니다.

    • False로 설정되면 파이프라인은 AutoAI 실험에 의해 프로젝트에서 모델이 작성되었는지 확인하고 모델 정보 및 훈련 메트릭을 검토합니다.

  3. 이 경우가 파이프라인을 처음 실행하는 경우 API키를 제공하십시오. 파이프라인 자산은 개인 IBM Cloud API키를 사용하여 중단 없이 안전하게 운영을 실행합니다.

    • 기존 API키가 있는 경우 기존 API키 사용을 클릭하고 API키를 붙여넣은 후 저장을 클릭하십시오.

    • 기존 API키가 없는 경우 새 API키 생성을 클릭하고 이름을 제공한 후 저장을 클릭하십시오. API키를 복사한 후 나중에 사용할 수 있도록 API키를 저장하십시오. 완료되면 닫기를 클릭하십시오.

  4. 실행 을 클릭하여 파이프라인 실행을 시작하십시오.

  5. 파이프라인 진행 상태를 모니터하십시오.

    1. 파이프라인이 실행 중인 동안 통합된 로그를 스크롤하십시오. 평가판 실행을 완료하는 데 최대 10분이 소요될 수 있습니다.

    2. 각 조작이 완료되면 캔버스에서 해당 조작에 대한 노드를 선택하십시오.

    3. 노드 검사기 탭에서 오퍼레이션의 세부사항을 보십시오.

    4. 각 노드 조작의 출력 요약을 보려면 노드 출력 탭을 클릭하십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 시험 실행을 완료한 후의 파이프라인을 표시합니다. 이제 파이프라인이 작성한 자산을 검토할 준비가 되었습니다.

파이프라인 실행 완료




태스크 5: 자산, 배치된 모델 및 온라인 배치 보기

학습서 비디오 미리보기 이 태스크를 미리 보려면 08:58에서 시작하는 비디오를 보십시오.

파이프라인이 여러 자산을 작성했습니다. 자산을 보려면 다음 단계를 수행하십시오.

  1. 탐색 추적에서 데이터 사이언스 및 MLOps 프로젝트 이름을 클릭하여 프로젝트로 돌아가십시오.

    탐색 추적

  2. 자산 탭에서 모든 자산을 보십시오.

  3. 데이터 자산을 보십시오.

    1. Mortgage_Data_with_Approvals_DS.csv 데이터 자산을 클릭하십시오. Data Refinery 작업이 이 자산을 작성했습니다.

    2. 탐색 추적에서 데이터 사이언스 및 MLOps 프로젝트 이름을 클릭하여 자산 탭으로 돌아가십시오.

  4. 모델을 보십시오.

    1. ds_mortgage_approval_best_model로 시작하는 기계 학습 모델 자산을 클릭하십시오. AutoAI 실험은 여러 모델 후보를 생성하고 이를 최상의 모델로 선택했습니다. 이 모델 이름을 텍스트 파일에 저장하십시오. 다음 태스크에서 Watson OpenScale 모니터를 구성하려면 모델 이름이 필요합니다.

    2. 모델 정보를 스크롤하십시오.

    3. 탐색 추적에서 데이터 사이언스 및 MLOps 프로젝트 이름을 클릭하여 자산 탭으로 돌아가십시오.

  5. 프로젝트에서 작업 탭을 클릭하여 Data Refinery 및 파이프라인 작업에 대한 정보를 확인하십시오.

  6. 파이프라인으로 작성한 배치 영역을 여십시오.

    1. Cloud Pak for Data 탐색 메뉴 탐색 메뉴에서 배치를 선택하십시오.

    2. 공간 탭을 클릭하십시오.

    3. 모기지 승인-데이터 사이언스 및 MLOps 배치 공간을 클릭하십시오.

  7. 자산 탭을 클릭하고 ds_mortgage_approval_best_model로 시작하는 배치된 모델을 확인하십시오.

  8. 배치 탭을 클릭하십시오.

  9. 모기지 승인 모델 배치-데이터 사이언스 를 클릭하여 배치를 보십시오.

    1. API 참조 탭에서 API 엔드포인트 및 코드 스니펫을 보십시오.

    2. 테스트 탭을 클릭하십시오.

    3. JSON 입력 탭을 클릭하고 샘플 텍스트를 다음 JSON 텍스트로 대체하십시오.

      {
        "input_data": [
                {
                        "fields": [
                                "ID",
                                "NAME",
                                "STREET_ADDRESS",
                                "CITY",
                                "STATE",
                                "STATE_CODE",
                                "ZIP_CODE",
                                "EMAIL_ADDRESS",
                                "PHONE_NUMBER",
                                "GENDER",
                                "SOCIAL_SECURITY_NUMBER",
                                "EDUCATION",
                                "EMPLOYMENT_STATUS",
                                "MARITAL_STATUS",
                                "INCOME",
                                "APPLIEDONLINE",
                                "RESIDENCE",
                                "YRS_AT_CURRENT_ADDRESS",
                                "YRS_WITH_CURRENT_EMPLOYER",
                                "NUMBER_OF_CARDS",
                                "CREDITCARD_DEBT",
                                "LOANS",
                                "LOAN_AMOUNT",
                                "CREDIT_SCORE",
                                "CRM_ID",
                                "COMMERCIAL_CLIENT",
                                "COMM_FRAUD_INV",
                                "FORM_ID",
                                "PROPERTY_CITY",
                                "PROPERTY_STATE",
                                "PROPERTY_VALUE",
                                "AVG_PRICE"
                        ],
                        "values": [
                                [
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        "Bachelor",
                                        "Employed",
                                        null,
                                        144306,
                                        null,
                                        "Owner Occupier",
                                        15,
                                        19,
                                        2,
                                        7995,
                                        1,
                                        1483220,
                                        437,
                                        null,
                                        false,
                                        false,
                                        null,
                                        null,
                                        null,
                                        111563,
                                        null
                                ],
                                [
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        "High School",
                                        "Employed",
                                        null,
                                        45283,
                                        null,
                                        "Private Renting",
                                        11,
                                        13,
                                        1,
                                        1232,
                                        1,
                                        7638,
                                        706,
                                        null,
                                        false,
                                        false,
                                        null,
                                        null,
                                        null,
                                        54262,
                                        null
                                ]
                        ]
                }
        ]
      }
      
    4. 예측을 클릭하십시오. 결과에 따르면 첫 번째 신청자는 승인되지 않고 두 번째 신청자는 승인됩니다.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 테스트 결과를 표시합니다. 테스트의 신뢰도 점수는 이미지에 표시된 점수와 다를 수 있습니다.

테스트 결과 예측




태스크 6: 노트북을 실행하여 Watson OpenScale 모니터 구성

학습서 비디오 미리보기 이 태스크를 미리 보려면 10:40에서 시작하는 비디오를 시청하십시오.

이제 샘플 프로젝트에 포함된 노트북을 실행할 준비가 되었습니다. 노트북에는 다음과 같은 코드가 포함되어 있습니다.

  • 모델 및 배치를 페치하십시오.
  • Watson OpenScale을 구성하십시오.
  • 기계 학습 서비스에 대한 서비스 제공자 및 등록을 작성하십시오.
  • 품질 모니터를 구성하십시오.
  • 공정성 모니터를 구성하십시오.
  • 설명 가능성을 구성하십시오.

다음 단계에 따라 샘플 프로젝트에 포함된 노트북을 실행하십시오. 각 셀의 코드를 설명하는 노트북의 주석을 읽을 에서 방법니다하 이 작업을 수행하십시오.

  1. Cloud Pak for Data 탐색 메뉴 탐색 메뉴에서 프로젝트 > 모든 프로젝트 보기를 선택하십시오.

  2. 데이터 사이언스 및 MLOps 프로젝트 이름을 클릭하십시오.

  3. 자산 탭을 클릭한 후 노트북으로 이동하십시오.
    왼쪽 탐색

  4. monitor-wml-model-with-watson-openscale-pipeline 노트북을 여십시오.

  5. 노트북을 편집 모드로 설정하려면 편집 아이콘 편집 을 클릭하십시오.

  6. 자원 허브에서 프로젝트를 가져올 때 노트북의 첫 번째 셀에 프로젝트 액세스 토큰이 포함됩니다. 이 노트북에 프로젝트 액세스 토큰이 있는 첫 번째 셀이 없는 경우 토큰을 생성해야 합니다. 더 많은 메뉴에서 프로젝트 토큰 삽입을 선택하십시오. 이 조치는 새 셀을 프로젝트 토큰을 포함하는 노트북의 첫 번째 셀로 삽입합니다.

  7. IBM Cloud API키 제공 섹션에서 API키를 제공하십시오. API키를 사용하여 Watson Machine Learning API에 인증 정보를 전달해야 합니다. 아직 저장된 API 키가 없는 경우에는 다음 단계를 수행하여 API 키를 작성합니다.
    학습서 비디오 미리보기 이 태스크를 미리 보려면 04:55에서 시작하는 비디오를 보십시오.

    1. IBM Cloud 콘솔 API키 페이지에 액세스하십시오.

    2. IBM Cloud API 키 작성을 클릭하십시오. 기존 API키가 있는 경우 단추에 작성이라는 레이블이 붙을 수 있습니다.

    3. 이름 및 설명을 입력하십시오.

    4. 작성을 클릭하십시오.

    5. 복사 API 키입니다.

    6. 나중에 사용할 수 있도록 API 키를 다운로드하십시오.

    7. 노트북으로 돌아가서 ibmcloud_api_key 필드에 API키를 붙여넣으십시오.

  8. 섹션에서 3. 모델 및 배치, model_name 변수에 대해 이전 태스크의 텍스트 파일에 저장한 모델 이름을 붙여넣으십시오. space_namedeployment_name 은 파이프라인에 지정된 이름을 사용하여 채워집니다.

  9. 셀 > 모두 실행 을 눌러 노트북의 모든 셀을 실행하십시오. 또는 실행 아이콘 다음을 실행하십시오. 을 클릭하여 노트북 셀을 셀별로 실행하여 각 셀 및 해당 출력을 탐색하십시오.

  10. 셀별로 진행 셀을 모니터하여 "In [*]" 이 숫자로 변경되는 것을 확인하십시오 (예: "In [1]"). 노트북을 완료하는 데 1-3분이 소요됩니다.

  11. 노트북을 실행하는 동안 오류가 발생하는 경우 다음 팁을 시도하십시오.

    • 커널 > 다시 시작 및 출력 지우기 를 눌러 커널을 다시 시작한 후 노트북을 다시 실행하십시오.
    • 배치 이름을 복사하여 앞이나 뒤에 공백 없이 정확하게 붙여넣었는지 확인하십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 실행이 완료될 때 노트북을 표시합니다. 노트북이 프로젝트에 모델을 저장했으므로 이제 모델을 평가할 준비가 되었습니다.

노트북 실행 완료




태스크 7: 모델 평가

학습서 비디오 미리보기 이 태스크를 미리보려면 13:35에서 시작하는 비디오를 보십시오.

Watson OpenScale에서 모델을 평가하려면 다음 단계를 따르십시오.

  1. 탐색 추적에서 데이터 사이언스 및 MLOps 프로젝트를 클릭하십시오.
    탐색 추적

  2. 자산 탭에서 데이터 자산 유형을 펼친 후 데이터 자산을 클릭하십시오.

  3. mortgage_sample_test_data.csv 데이터 자산의 오버플로우 메뉴 오버플로우 메뉴 를 클릭하고 다운로드를 선택하십시오. 모델이 필요에 따라 작동하는지 유효성을 검증하려면 모델 훈련에서 제외된 레이블 지정된 데이터 세트가 필요합니다. 이 CSV 파일에는 홀드아웃 데이터가 포함되어 있습니다.

  4. Watson OpenScale을 시작하십시오.

    1. Cloud Pak for Data 탐색 메뉴 탐색 메뉴에서 서비스 > 서비스 인스턴스를 선택하십시오.

    2. Watson OpenScale 인스턴스 이름을 클릭하십시오. 프롬프트가 표시되면 Cloud Pak for Data에 등록하는 데 사용한 것과 동일한 인증 정보를 사용하여 로그인하십시오.

    3. Watson OpenScale 서비스 인스턴스 페이지에서 애플리케이션 시작을 클릭하십시오.

  5. Insights 대시보드에서 모기지 승인 모델 배치-데이터 사이언스 타일을 클릭하십시오.

  6. 조치 메뉴에서 지금 평가를 선택하십시오.

  7. 가져오기 옵션 목록에서 CSV 파일에서를 선택하십시오.

  8. 프로젝트에서 다운로드한 mortgage_sample_test_data.csv 데이터 파일을 사이드 패널로 끌어오십시오.

  9. 업로드 및 평가를 클릭하십시오. 평가를 완료하는 데 몇 분이 걸릴 수 있습니다.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 Watson OpenScale에서 배치된 모델에 대한 평가 결과를 표시합니다. 이제 모델을 평가했으므로 모델 품질을 관찰할 준비가 되었습니다.

평가된 모델




태스크 8: 품질에 대한 모델 모니터 관찰

학습서 비디오 미리보기 이 태스크를 미리 보려면 14:44에 시작하는 비디오를 보십시오.

Watson OpenScale 품질 모니터는 모델의 품질을 평가하기 위해 메트릭 세트를 생성합니다. 이러한 품질 메트릭을 사용하여 모델이 결과를 얼마나 잘 예측하는지 판별할 수 있습니다. 검증용 데이터를 사용하는 평가가 완료되면 다음 단계에 따라 모델 품질 또는 정확성을 관찰하십시오.

  1. 왼쪽 탐색 패널에서 인사이트 대시보드 아이콘 인사이트 대시보드을 클릭하십시오.

  2. 모기지 승인 모델 배치-데이터 사이언스 타일을 찾으십시오. 배치에 문제가 없으며 품질공정성 테스트 둘 다 오류를 생성하지 않았습니다. 이는 모델이 필요한 임계값을 충족했음을 의미합니다.

    참고: 평가 후 업데이트를 보려면 대시보드를 새로 고쳐야 할 수 있습니다.
  3. 모기지 승인 모델 배치-데이터 사이언스 타일을 클릭하여 세부사항을 보십시오.

  4. 품질 섹션에서 구성 아이콘 구성을 클릭하십시오. 여기서 이 모니터에 대해 구성된 품질 임계값이 70%이고 사용 중인 품질의 측정이 ROC 곡선 아래 영역임을 확인할 수 있습니다.

  5. 모델 요약으로 이동 을 클릭하여 모델 세부사항 화면으로 돌아가십시오.

  6. 품질 섹션에서 세부사항 아이콘 세부사항 을 클릭하여 모델 품질 세부사항 결과를 보십시오. 여기에는 많은 품질 메트릭 계산 및 거짓 긍정 (false positive) 및 거짓 부정 (false negative) 과 함께 올바른 모델 결정을 표시하는 혼동 매트릭스가 표시됩니다. ROC 곡선 아래의 계산된 영역은 0.9 이상이며 이는 0.7 임계값을 초과하므로 모델이 품질 요구사항을 충족합니다.

  7. 탐색 추적에서 모기지 승인 모델 배치-데이터 사이언스 를 클릭하여 모델 세부사항 화면으로 돌아가십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 Watson OpenScale의 품질 세부사항을 표시합니다. 품질 점수는 다를 수 있습니다. 이제 모델 품질을 관찰했으므로 모델 공정성을 관찰할 수 있습니다.

품질




태스크 9: 공정성을 위해 모델 모니터 관찰

학습서 비디오 미리보기 이 태스크를 미리보려면 15:59에서 시작하는 비디오를 보십시오.

Watson OpenScale 공정성 모니터는 모델의 공정성을 평가하기 위해 메트릭 세트를 생성합니다. 공정성 메트릭을 사용하여 모델이 편향된 결과를 생성하는지 여부를 판별할 수 있습니다. 모델 공정성을 관찰하려면 다음 단계를 수행하십시오.

  1. 공정성 섹션에서 구성 아이콘 구성을 클릭하십시오. 여기에서는 지원자들이 성별에 상관없이 공정하게 대우받을 수 있도록 모델을 검토하고 있다는 것을 알 수 있습니다. 여성은 공정성이 측정되고 있는 모니터 대상 그룹으로 식별되며 공정성의 임계값은 최소 80%입니다. 공정성 모니터는 이질적 영향 방법을 사용하여 공정성을 판별합니다. 분산 영향은 모니터되는 그룹에 대한 선호되는 결과의 백분율을 참조 그룹에 대한 선호되는 결과의 백분율과 비교합니다.

  2. 모델 요약으로 이동 을 클릭하여 모델 세부사항 화면으로 돌아가십시오.

  3. 공정성 섹션에서 세부사항 아이콘 세부사항 을 클릭하여 모델 공정성 세부 결과를 확인하십시오. 여기서 자동으로 승인되는 남성 및 여성 지원자의 백분율과 함께 공정성 점수가 약 100%이므로 모델 성과가 필요한 공정성 임계값 80%를 초과합니다.

  4. 데이터 세트 목록에서 식별된 데이터 세트를 확인하십시오. 공정성 메트릭이 가장 정확한지 확인하기 위해 Watson OpenScale 은 변동을 사용하여 다른 기능이 동일하게 유지되는 동안 보호된 속성 및 관련 모델 입력만 변경되는 결과를 판별합니다.섭동은 기능의 값을 참조 그룹에서 모니터된 그룹으로 변경하거나 그 반대로 변경합니다. 이러한 추가 가드레일은 "균형" 데이터 세트가 사용될 때 공정성을 계산하는 데 사용되지만 페이로드 또는 모델 훈련 데이터만 사용하여 공정성 결과를 볼 수도 있습니다. 모델이 공정하게 작동하므로 이 메트릭에 대한 추가 세부사항으로 이동할 필요가 없습니다.
    공정성 데이터 세트

  5. 모기지 승인 모델 배치-데이터 사이언스 탐색 추적을 클릭하여 모델 세부사항 화면으로 돌아가십시오.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 Watson OpenScale의 공정성 세부사항을 표시합니다. 이제 모델 공정성을 관찰했으므로 모델 설명 가능성을 관찰할 수 있습니다.

공정성




태스크 10: 설명 가능성에 대한 모델 모니터 관찰

학습서 비디오 미리보기 이 태스크를 미리 보려면 17:42에 시작하는 비디오를 보십시오.

모델이 어떻게 결정을 내리게 되었는지 이해해야 합니다. 이러한 이해는 대출 승인에 관련된 사람들에게 의사결정을 설명하고 의사결정이 유효한 모델 소유자를 확인하기 위해 필요합니다. 이러한 의사결정을 이해하려면 다음 단계에 따라 모델 설명 가능성을 관찰하십시오.

  1. 왼쪽 탐색 패널에서 트랜잭션 설명 아이콘 트랜잭션 설명을 클릭하십시오.

  2. 트랜잭션 목록을 보려면 모기지 승인 모델 배치-데이터 사이언스 를 선택하십시오.

  3. 트랜잭션의 경우, 조치 열 아래의 설명을 클릭하십시오. 이 결정에 대한 자세한 설명을 볼 수 있습니다.각 항목이 최종 결과에 얼마나 중요한지에 따라 모델에 대한 가장 중요한 입력이 표시됩니다. 파란색 막대는 모델의 의사결정을 지원하는 경향이 있는 입력을 표시하는 반면, 빨간색 막대는 다른 의사결정을 초래할 수 있는 입력을 표시합니다. 예를 들어, 신청자는 승인되기에 충분한 수입을 가지고 있을 수 있지만 신용 기록이 불량하고 부채가 많으면 모델이 애플리케이션을 거부하게 됩니다.모델 결정의 기초에 대해 만족하려면 이 설명을 검토하십시오.

  4. 선택사항: 모델이 결정을 내리는 방법을 자세히 살펴보려면 검사 탭을 클릭하십시오. 검사 기능을 사용하여 몇 개의 입력에 대한 작은 변경사항으로 인해 다른 의사결정이 발생하는 민감도 영역을 찾기 위한 의사결정을 분석하십시오. 일부 실제 입력을 대체로 대체하여 이러한 입력이 결과에 영향을 미치는지 여부를 확인함으로써 사용자 스스로 민감도를 테스트할 수 있습니다.

체크포인트 아이콘 진행 상태 확인

다음 이미지는 Watson OpenScale에서 트랜잭션의 설명 가능성을 표시합니다. 모델이 정확하고 모든 지원자를 공정하게 처리하는 것으로 판별되었습니다. 이제 해당 라이프사이클의 다음 단계로 모델을 진행할 수 있습니다.

설명가능성



골든 은행 팀은 Orchestration 파이프라인을 사용하여 모든 모기지 신청자에 대한 최신 데이터를 전달하는 데이터 파이프라인과 대출자가 의사결정에 사용할 수 있는 기계 학습 모델을 작성했습니다. 그런 다음 팀은 Watson OpenScale 을 사용하여 모델이 모든 신청자를 공정하게 처리하는지 확인했습니다.


정리 (선택사항)

이 학습서를 다시 수행하려면 다음 아티팩트를 삭제하십시오.

아티팩트 삭제 방법
Mortgage 승인-데이터 사이언스 및 MLOps 배치 공간의 모기지 승인 모델 배치-데이터 사이언스 배치 삭제
모기지 승인-데이터 사이언스 및 MLOps 배치 공간 배치 공간 삭제
데이터 사이언스 및 MLOps 샘플 프로젝트 프로젝트 삭제

다음 단계

자세한 정보

상위 주제: 유스 케이스 학습서

일반적인 AI 검색 및 응답
이러한 응답은 제품 문서의 컨텐츠를 기반으로 하는 watsonx.ai 의 대형 언어 모델에 의해 생성됩니다. 자세히 알아보기