데이터 통합 튜토리얼: 데이터 통합으로 AI 파이프라인 조정

이 태스크를 미리 보려면 02:26에 시작하는 비디오를 보십시오.

샘플 프로젝트에는 연결, 데이터 정의, 두 개의 DataStage 플로우 및 파이프라인을 포함한 여러 자산이 포함되어 있습니다. 해당 자산을 보려면 다음 단계를 수행하십시오.

1. Orchestrate an AI 파이프라인 프로젝트에서 자산 탭을 클릭한 후 모든 자산을 보십시오.

2. DataStage 플로우 및 파이프라인에서 사용되는 모든 데이터 자산은 AI_MORTGAGE 스키마의 Data Fabric 평가판- Db2 Warehouse 연결에 저장됩니다. 다음 이미지는 해당 연결의 자산을 표시합니다.

   

3. 모기지 데이터 통합 DataStage 플로우는 개인 식별 가능 정보를 포함하여 각 모기지 신청자에 대한 데이터를 애플리케이션 세부사항, 신용평점, 상업적 구매자로서의 상태, 마지막으로 각 신청자가 선택한 주택의 가격과 통합한 후 결합된 데이터를 포함하는 프로젝트에서 이름이 Mortgage_Data.csv 인 순차 파일을 작성합니다. 다음 이미지는 모기지 데이터 통합 DataStage 플로우를 표시합니다.

   팁: DataStage 플로우가 표시되지 않으면 서비스 인스턴스를 보기 위해 되돌아가서 DataStage 인스턴스가 성공적으로 프로비저닝되었는지 확인하십시오. 필요한 서비스 프로비저닝을 참조하십시오.

   

4. 모기지 승인 통합 DataStage 플로우는 첫 번째 DataStage 플로우 (Mortgage_Data.csv) 의 출력을 사용하고 각 모기지 애플리케이션 승인에 대한 정보를 통합하여 데이터를 추가로 강화합니다. 결과 데이터 세트는 이름이 Mortgage_Data_with_Approvals.csv인 프로젝트에 저장됩니다. 다음 이미지는 모기지 승인 통합 DataStage 플로우를 표시합니다.

   

5. Mortgage_Data_with_Approvals.csv 데이터 자산에 대한 Definition_Mortgage_Data 데이터 정의는 모기지 승인 통합 DataStage 플로우에 의해 작성됩니다. 다음 이미지는 데이터 정의를 표시합니다.

   

이 태스크를 미리 보려면 04:00에서 시작하는 비디오를 시청하십시오.

샘플 프로젝트에는 다음 태스크를 자동화하는 오케스트레이션 파이프라인이 포함되어 있습니다.

• 두 개의 기존 DataStage 작업을 실행하십시오.

• AutoAI 실험을 작성하십시오.

• AutoAI 실험을 실행하고 DataStage 작업의 결과 출력 파일을 훈련 데이터로 사용하는 최상의 성능 모델을 저장하십시오.

• 배치 영역을 작성하십시오.

• 저장된 모델을 배치 영역으로 승격하십시오.

파이프라인을 탐색하려면 다음 단계를 수행하십시오.

1. Orchestrate an AI 파이프라인 프로젝트의 자산 탭에서 모든 자산을 보십시오.

2. 모기지 승인 파이프라인 을 클릭하여 파이프라인을 여십시오.

3. 파이프라인의 시작 섹션에서 두 개의 DataStage 작업 (모기지 데이터 통합 및 모기지 승인 통합) 이 차례로 실행되어 Db2 Warehouse on Cloud 연결의 다양한 테이블을 AutoAI 실험에 대한 훈련 데이터로 사용되는 응집된 레이블의 데이터 세트로 결합합니다.

4. 상태 확인 노드를 두 번 클릭하여 조건을 확인하십시오. 이 조건은 값이 완료됨 또는 경고와 함께 완료됨인 첫 번째 DataStage 작업의 완료를 확인하기 위한 파이프라인의 의사결정 지점입니다. 파이프라인으로 돌아가려면 취소 를 클릭하십시오.

5. AutoAI 실험 작성 노드를 두 번 클릭하여 설정을 확인하십시오. 이 노드는 설정을 사용하여 AutoAI 실험을 작성합니다.

   1. 다음 설정에 대한 값을 검토하십시오.

      • AutoAI 실험 이름

      • 범위

      • 예측 유형

      • 예측 열

      • 긍정 클래스

      • 훈련 데이터 분할 비율

      • 포함할 알고리즘

      • 사용할 알고리즘

      • 최적화 지표

   2. 취소 를 클릭하여 설정을 닫으십시오.

6. AutoAI 실험 실행 노드를 두 번 클릭하여 설정을 확인하십시오. 이 노드는 모기지 승인 통합 DataStage 작업의 출력을 훈련 데이터로 사용하는 AutoAI 실험 작성 노드에서 작성된 AutoAI 실험을 실행합니다.

   1. 다음 설정에 대한 값을 검토하십시오.

      • AutoAI 실험

      • 훈련 데이터 자산

      • 모델 이름 접두어

   2. 취소 를 클릭하여 설정을 닫으십시오.

7. AutoAI 실험 실행 및 배치 공간 작성 노드 사이에서 모델을 배치하시겠습니까? 를 두 번 클릭하십시오. 노드를 사용하여 조건을 확인하십시오. 이 조건에 대한 True 값은 배치 영역을 계속 작성하기 위한 파이프라인의 의사결정 지점입니다. 파이프라인으로 돌아가려면 취소 를 클릭하십시오.

8. 배치 공간 작성 노드를 두 번 클릭하여 설정을 확인하십시오. 이 노드는 지정된 이름으로 새 배치 영역을 작성하며 Cloud Object Storage 및 Watson Machine Learning 서비스에 대한 입력이 필요합니다.

   1. 새 공간 이름 설정의 값을 검토하십시오.

   2. 새 영역 COS 인스턴스 CRN 필드의 경우 목록에서 Cloud Object Storage 인스턴스를 선택하십시오.

   3. 새 공간 WML 인스턴스 CRN 필드의 경우 목록에서 Watson Machine Learning 인스턴스를 선택하십시오.

   4. 저장 을 클릭하십시오.

9. 배치 공간으로 모델 승격 노드를 두 번 클릭하여 설정을 확인하십시오. 이 노드는 AutoAI 실험 실행 노드의 최상의 모델을 배치 공간 작성 노드에서 작성된 배치 공간으로 승격합니다.

   1. 다음 설정에 대한 값을 검토하십시오.

      • 소스 자산

      • 대상

   2. 취소 를 클릭하여 설정을 닫으십시오.

이 태스크를 미리 보려면 06:23에서 시작하는 비디오를 보십시오.

파이프라인은 모델을 작성하고 배치 영역을 작성한 후 배치 영역으로 승격시킵니다. 온라인 배치를 작성하려면 노드를 추가해야 합니다. 다음 단계에 따라 파이프라인을 편집하여 온라인 배치 작성을 자동화하십시오.

1. 온라인 배치 작성 노드를 캔버스에 추가하십시오.

   1. 노드 팔레트에서 작성 섹션을 펼치십시오.

   2. 온라인 배치 작성 노드를 캔버스로 끌어 배치 공간으로 모델 승격 노드 뒤에 노드를 놓으십시오.

2. 화살표를 보려면 배치 공간으로 모델 승격 노드 위로 마우스를 이동하십시오. 화살표를 온라인 배치 작성 노드에 연결하십시오.

   참고: 파이프라인의 노드 이름은 다음 애니메이션 이미지와 다를 수 있습니다.

   

3. 주석 상자의 원을 노드에 연결하여 승격된 모델의 온라인 배치 작성 주석을 온라인 배치 작성 노드에 연결하십시오.

   참고: 파이프라인의 노드 이름은 다음 애니메이션 이미지와 다를 수 있습니다.

   

4. 온라인 배치 작성 노드를 두 번 클릭하여 설정을 확인하십시오.

5. 노드 이름을 Create Online Deployment로 변경하십시오.

6. ML 자산옆의 메뉴에서 다른 노드에서 선택 을 클릭하십시오.

   

7. 목록에서 배치 공간으로 모델 승격 노드를 선택하십시오. 노드 ID winning_model 이 선택되었습니다.

8. 새 배치 이름에 mortgage approval model deployment를 입력하십시오.

9. 작성 모드에 대해 겹쳐쓰기를 선택하십시오.

10. 저장 을 클릭하여 온라인 배치 작성 노드 설정을 저장하십시오.

이 태스크를 미리 보려면 07:38에서 시작하는 비디오를 보십시오.

파이프라인이 완료되었으므로 다음 단계에 따라 파이프라인을 실행하십시오.

1. 도구 모음에서 파이프라인 실행 > 평가판 실행을 클릭하십시오.

2. 파이프라인 매개변수 정의 페이지에서 배치에 대해 True 를 선택하십시오.

   • True로 설정하면 파이프라인이 배치된 모델을 확인하고 모델을 스코어링합니다.

   • False로 설정되면 파이프라인은 AutoAI 실험에 의해 프로젝트에서 모델이 작성되었는지 확인하고 모델 정보 및 훈련 메트릭을 검토합니다.

3. 파이프라인을 처음 실행하는 경우에는 API키를 제공하도록 프롬프트가 표시됩니다. 파이프라인 자산은 개인 IBM Cloud API키를 사용하여 중단 없이 안전하게 운영을 실행합니다.

   • 기존 API키가 있는 경우 기존 API키 사용을 클릭하고 API키를 붙여넣은 후 저장을 클릭하십시오.

   • 기존 API키가 없는 경우 새 API키 생성을 클릭하고 이름을 제공한 후 저장을 클릭하십시오. API키를 복사한 후 나중에 사용할 수 있도록 API키를 저장하십시오. 완료되면 닫기를 클릭하십시오.

4. 실행 을 클릭하여 파이프라인 실행을 시작하십시오.

5. 파이프라인이 실행 중인 동안 통합된 로그를 스크롤하십시오. 평가판 실행을 완료하는 데 최대 10분이 소요될 수 있습니다.

6. 각 조작이 완료되면 캔버스에서 해당 조작에 대한 노드를 선택하십시오.

7. 노드 검사기 탭에서 오퍼레이션의 세부사항을 보십시오.

8. 각 노드 조작의 출력 요약을 보려면 노드 출력 탭을 클릭하십시오.

이 태스크를 미리 보려면 09:48에 시작하는 비디오를 보십시오.

파이프라인이 여러 자산을 작성했습니다. 자산을 보려면 다음 단계를 수행하십시오.

1. 탐색 추적에서 AI 파이프라인 조정 프로젝트 이름을 클릭하여 프로젝트로 돌아가십시오.

   

2. 자산 탭에서 모든 자산을 보십시오.

3. 데이터 자산을 보십시오.

   1. Mortgage_Data.csv 데이터 자산을 클릭하십시오. DataStage 작업이 이 자산을 작성했습니다.

   2. 탐색 추적에서 프로젝트 이름을 클릭하여 자산 탭으로 돌아가십시오.

   3. Mortgage_Data_with_Approvals.csv 데이터 자산을 클릭하십시오. DataStage 작업이 이 자산을 작성했습니다.

   4. 탐색 추적에서 프로젝트 이름을 클릭하여 자산 탭으로 돌아가십시오.

4. 모델을 보십시오.

   1. mortgage_approval_best_model로 시작하는 기계 학습 모델 자산을 클릭하십시오. AutoAI 실험은 여러 모델 후보를 생성하고 이를 최상의 모델로 선택했습니다.

   2. 모델 정보를 스크롤하십시오.

   3. 탐색 추적에서 프로젝트 이름을 클릭하여 자산 탭으로 돌아가십시오.

5. 프로젝트에서 작업 탭을 클릭하여 두 개의 DataStage 작업 및 하나의 파이프라인 작업 실행에 대한 정보를 확인하십시오.

6. Cloud Pak for Data 탐색 메뉴 에서 배치를 선택하십시오.

7. 공간 탭을 클릭하십시오.

8. 모기지 승인 배치 공간을 클릭하십시오.

9. 자산 탭을 클릭하고 mortgage_approval_best_model로 시작하는 배치된 모델을 확인하십시오.

10. 배치 탭을 클릭하십시오.

11. 모기지 승인 모델 배치 를 클릭하여 배치를 보십시오.

    1. API 참조 탭에서 정보를 보십시오.

    2. 테스트 탭을 클릭하십시오.

    3. JSON 입력 탭을 클릭하고 샘플 텍스트를 다음 JSON 텍스트로 대체하십시오.

       {
          "input_data": [
              {
                      "fields": [
                              "ID",
                              "NAME",
                              "STREET_ADDRESS",
                              "CITY",
                              "STATE",
                              "STATE_CODE",
                              "ZIP_CODE",
                              "EMAIL_ADDRESS",
                              "PHONE_NUMBER",
                              "GENDER",
                              "SOCIAL_SECURITY_NUMBER",
                              "EDUCATION",
                              "EMPLOYMENT_STATUS",
                              "MARITAL_STATUS",
                              "INCOME",
                              "APPLIEDONLINE",
                              "RESIDENCE",
                              "YRS_AT_CURRENT_ADDRESS",
                              "YRS_WITH_CURRENT_EMPLOYER",
                              "NUMBER_OF_CARDS",
                              "CREDITCARD_DEBT",
                              "LOANS",
                              "LOAN_AMOUNT",
                              "CREDIT_SCORE",
                              "CRM_ID",
                              "COMMERCIAL_CLIENT",
                              "COMM_FRAUD_INV",
                              "FORM_ID",
                              "PROPERTY_CITY",
                              "PROPERTY_STATE",
                              "PROPERTY_VALUE",
                              "AVG_PRICE"
                      ],
                      "values": [
                              [
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      "Bachelor",
                                      "Employed",
                                      null,
                                      144306,
                                      null,
                                      "Owner Occupier",
                                      15,
                                      19,
                                      2,
                                      7995,
                                      1,
                                      1483220,
                                      437,
                                      null,
                                      false,
                                      false,
                                      null,
                                      null,
                                      null,
                                      111563
                              ],
                              [
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      "High School",
                                      "Employed",
                                      null,
                                      45283,
                                      null,
                                      "Private Renting",
                                      11,
                                      13,
                                      1,
                                      1232,
                                      1,
                                      7638,
                                      706,
                                      null,
                                      false,
                                      false,
                                      null,
                                      null,
                                      null,
                                      547262
                              ]
                      ]
              }
          ]
       }
       

    4. 예측을 클릭하십시오. 결과에 따르면 첫 번째 신청자는 승인되지 않고 두 번째 신청자는 승인됩니다.