데이터 통합 학습서: 데이터 통합

이 태스크를 미리보려면 02:40에 시작하는 비디오를 보십시오.

모기지 신청자 및 모기지 애플리케이션 데이터 세트를 결합하는 기본 DataStage 플로우로 시작한 후 프로젝트의 CSV 파일에 결과를 출력합니다. DataStage 플로우를 실행하려면 다음 단계를 수행하십시오.

1. 데이터 통합 프로젝트에서 시작하십시오. 프로젝트를 열지 않은 경우 다음 단계를 수행하십시오.

   1. Cloud Pak for Data 탐색 메뉴 에서 프로젝트 > 모든 프로젝트 보기를 선택하십시오.

   2. 데이터 통합 프로젝트를 여십시오.

2. 자산 탭을 클릭하여 프로젝트의 모든 자산을 보십시오.

3. 플로우 > DataStage 플로우를 클릭하십시오.

   팁: DataStage 플로우가 표시되지 않으면 이전으로 돌아가서 서비스 인스턴스를 보고 DataStage 인스턴스가 성공적으로 프로비저닝되었는지 확인하십시오. 필요한 서비스 프로비저닝을 참조하십시오.

4. 목록에서 데이터 통합 플로우를 클릭하여 여십시오. 이 플로우는 Db2 Warehouse에 저장된 모기지 신청자 및 모기지 애플리케이션 테이블을 결합하고, 캘리포니아 주의 해당 레코드로 데이터를 필터링하며, CSV 형식의 순차 파일을 출력으로 작성합니다.

5. 도구 모음에서 확대 아이콘 및 축소 아이콘 을 클릭하여 캔버스의 원하는 보기를 설정하십시오.

6. MORTGAGE_APPLICATIONS_1 노드를 두 번 클릭하여 설정을 보십시오.

   1. 특성 섹션을 펼치십시오.

   2. 아래로 스크롤한 후 데이터 미리보기를 클릭하십시오. 이 데이터 세트에는 모기지 애플리케이션에서 캡처되는 정보가 포함되어 있습니다.

   3. 닫기를 클릭하십시오.

7. MORTGAGE_APPLICANTS_1 노드를 두 번 클릭하여 설정을 보십시오.

   1. 특성 섹션을 펼치십시오.

   2. 아래로 스크롤하고 데이터 미리보기를 클릭하십시오. 이 데이터 세트에는 대출을 신청한 모기지 신청자에 대한 정보가 포함되어 있습니다.

   3. 선택사항: 데이터를 시각화하십시오.

      1. 차트 패널을 클릭하십시오.

      2. 시각화할 열 목록에서 STATE를 선택하십시오.

      3. 상태별 데이터 분포를 표시하는 원형 차트를 보려면 데이터 시각화 를 클릭하십시오.

      4. 트리 맵 차트에서 동일한 데이터를 보려면 트리 맵 아이콘을 클릭하십시오.

   4. 닫기를 클릭하십시오.

8. Join_on_ID 노드를 두 번 클릭하여 설정을 보십시오.

   1. 특성 섹션을 펼치십시오.

   2. 조인 키는 ID 컬럼입니다.
      

   3. 취소 를 클릭하여 설정을 닫으십시오.

9. 플로우의 진행상태를 볼 수 있도록 도구 모음에서 로그 아이콘 을 클릭하십시오.

10. 컴파일을 클릭한 후 실행을 클릭하십시오. 또는 실행 을 클릭하여 컴파일한 후 DataStage 플로우를 실행할 수 있습니다. 실행을 완료하는 데 약 1분정도 걸릴 수 있습니다.

11. 로그를 보십시오. 플로우의 각 단계에 대해 총 행 및 행 수/초를 사용하여 필터가 예상대로 작동하는지 시각적으로 확인할 수 있습니다.

12. 실행이 완료되면 탐색 추적에서 데이터 통합 을 클릭하여 프로젝트로 돌아가십시오.
    

13. 자산 탭에서 데이터 > 데이터 자산을 클릭하십시오.

14. MORTGAGE_INTEREST_RATES.CSV 파일을 여십시오. 이 파일에 모기지 신청자 및 모기지 신청 데이터 세트 모두의 열이 포함되어 있음을 확인할 수 있습니다.

모기지 신청자 및 애플리케이션 데이터를 결합했으므로 DataStage 플로우를 편집하여 다음을 수행할 준비가 되었습니다.

• 태스크 2: Join 스테이지의 키 열을 지정하십시오.
• 태스크 3: PostgreSQL 데이터베이스에서 신용평점 데이터를 추가합니다.
• 태스크 4: Join 스테이지를 추가하여 신용평점 데이터를 신청자 및 애플리케이션 데이터와 결합하십시오.
• 태스크 5: 총 부채를 계산하기 위해 Transformer 스테이지를 추가합니다.
• 태스크 6: MongoDB 데이터베이스에서 이자율 데이터를 추가합니다.
• 작업 7: 검색 단계를 추가하여 신용 점수 및 골든 은행의 일일 이자율 범위를 기반으로 신청자의 이자율을 검색합니다.

이 태스크를 미리 보려면 04:33에서 시작하는 비디오를 보십시오.

키 열을 식별하면 해당 열에 고유 값이 포함되어 있음을 DataStage 에 표시합니다. Join_on_ID 노드는 결합 키에 대한 ID열을 사용하여 모기지 신청자 및 모기지 애플리케이션 데이터 세트를 결합합니다. 다음 단계는 결과 데이터 세트를 신용평점 데이터와 결합하는 것입니다. 나중에 결과로 필터링된 데이터를 신용평점 데이터 세트와 결합합니다. 두 번째 조인은 EMAIL_ADDRESS 컬럼을 조인 키로 사용합니다. 이 태스크에서는 DataStage 플로우를 편집하여 EMAIL_ADDRESS열이 신용평점 데이터와 결합될 때 결과 데이터 세트의 키 열로 지정합니다.

다음 애니메이션 이미지는 두 결합 노드의 설명에 대한 대안으로 시각적 표시를 제공합니다. 더 큰 이미지를 보려면 이미지를 클릭하십시오.

결합 노드 설정을 변경하려면 다음 단계를 수행하십시오.

1. 탐색 추적에서 데이터 통합 을 클릭하여 프로젝트로 돌아가십시오.
   

2. 자산 탭에서 플로우 > DataStage 플로우를 클릭하십시오.

3. 데이터 통합 플로우를 여십시오.

4. Join_on_ID 노드를 두 번 클릭하여 설정을 편집하십시오.

5. 출력 탭을 클릭하고 열 섹션을 펼쳐 결합된 데이터 세트의 열 목록을 확인하십시오.

6. 편집을 클릭하십시오.

7. EMAIL_ADDRESS 열 이름으로 키를 선택하십시오.

8. 적용 및 리턴을 클릭하여 Join_on_ID 노드 설정으로 돌아가십시오.

9. 저장을 클릭하여 Join_on_ID 노드 설정을 저장하십시오.

이 태스크를 미리보려면 05:14에서 시작하는 비디오를 보십시오.

PostgreSQL 데이터베이스에 저장된 신용평점 데이터를 DataStage 플로우에 추가하려면 다음 단계를 수행하십시오.

1. 노드 팔레트에서 커넥터 섹션을 펼치십시오.

2. 자산 브라우저 커넥터를 MORTGAGE_APPLICANTS_1 노드 옆의 캔버스로 끌어오십시오.

3. 연결 > Data Fabric 평가판- Databases for PostgreSQL > BANKING > CREDIT_SCORE를 선택하여 자산을 찾으십시오.

   참고: 선택란 대신 연결 또는 스키마 이름을 클릭하여 연결 및 스키마를 펼치십시오.

   

4. 각 신청자의 신용평점 데이터를 미리 보려면 미리보기 아이콘을 클릭하십시오.

5. 추가 를 클릭하십시오.

이 태스크를 미리보려면 05:46에서 시작하는 비디오를 보십시오.

다음 단계에 따라 다른 Join 스테이지를 추가하여 필터링된 모기지 애플리케이션 및 모기지 신청자 결합 데이터를 DataStage 플로우의 신용평점 데이터와 결합하십시오.

1. 노드 팔레트에서 스테이지 섹션을 펼치십시오.

2. 결합 스테이지를 캔버스로 끌어 노드를 Filter_State_Code 및 Sequential_file_1 노드 사이의 링크 선에 놓으십시오.

3. 화살표를 보려면 CREDIT_SCORE_1 커넥터 위로 마우스를 이동하십시오. 화살표를 결합 스테이지에 연결하십시오.

4. CREDIT_SCORE_1 노드를 두 번 클릭하여 설정을 편집하십시오.

   1. 출력 탭을 클릭하고 열 섹션을 펼쳐 결합된 데이터 세트의 열 목록을 확인하십시오.

   2. 편집을 클릭하십시오.

   3. EMAIL_ADDRESS 및 CREDIT_SCORE 열 이름의 경우 키를 선택하십시오.

   4. 적용 및 리턴을 클릭하여 CREDIT_SCORE_1 노드 설정으로 돌아가십시오.

   5. 저장을 클릭하여 CREDIT_SCORE_1 노드 설정을 저장하십시오.

5. Join_1 노드를 두 번 클릭하여 설정을 편집하십시오.

   1. 특성 섹션을 펼치십시오.

   2. 키 추가를 클릭하십시오.

      1. 키 추가를 다시 클릭하십시오.

      2. 가능한 키 목록에서 EMAIL_ADDRESS 를 선택하십시오.

      3. 적용을 클릭하십시오.

   3. 적용 및 리턴을 클릭하여 Join_1 노드 설정으로 돌아가십시오.

   4. Join_1 노드 이름을 Join_on_email(으)로 변경하십시오.

   5. 저장을 클릭하여 Join_1 노드 설정을 저장하십시오.

이 태스크를 미리 보려면 07:00에서 시작하는 비디오를 시청하십시오.

LOAN_AMOUNT및 CREDITCARD_DEBT열을 합산하여 새 열을 작성하는 Transformer 스테이지를 추가하려면 다음 단계를 수행하십시오.

1. 스테이지 섹션에서 Transformer 스테이지를 캔버스로 끌어 노드를 Join_on_email 및 Sequential_file_1 노드 사이의 링크 선에 놓으십시오.

2. 변환기 노드를 두 번 클릭하여 설정을 편집하십시오.

3. 출력 탭을 클릭하십시오.

   1. 열 추가를 클릭하십시오.

   2. 열 목록에서 아래로 스크롤하여 새 열을 확인하십시오.

   3. TOTAL_DEBT 열의 이름을 지정하십시오.

   4. 행의 파생 열에서 편집 아이콘을 클릭하십시오.

   5. 파생 열에서 계산기 아이콘을 클릭하여 표현식 작성기를 여십시오.

   6. LOAN_AMOUNT을(를) 검색하고 열 이름을 두 번 클릭하여 표현식에 추가하십시오. 링크 번호가 열 이름에 추가됩니다.

   7. 더하기 부호(+)를 입력하십시오.

   8. CREDITCARD_DEBT를 검색한 후 열 이름을 두 번 클릭하여 표현식에 추가하십시오. 링크 번호가 열 이름에 추가됩니다.

   9. 최종 표현식이 Link_5.LOAN_AMOUNT + Link_5.CREDITCARD_DEBT인지 확인하십시오.

      참고: 링크 번호는 다를 수 있습니다.

   10. 적용 및 리턴을 클릭하여 변환기 페이지로 돌아갑니다.

   11. CREDIT_SCORE 컬럼 이름의 경우 키를 선택하십시오.

4. 캔버스로 리턴하려면 저장 및 리턴을 클릭하십시오.

이 태스크를 미리 보려면 07:49에서 시작하는 비디오를 보십시오.

MongoDB 데이터베이스에 데이터 자산 커넥터를 추가하여 플로우에 이자율을 포함시키려면 다음 단계를 수행하십시오.

1. 노드 팔레트에서 커넥터 섹션을 펼치십시오.

2. 자산 브라우저 커넥터를 CREDIT_SCORE_1 노드 옆의 캔버스로 끌어 오십시오.

3. 연결 > Data Fabric 평가판-Mongo DB > DOCUMENT > DS_INTEREST_RATES를 선택하여 자산을 찾으십시오.

4. 각 신용평점 범위에 대한 이자율을 미리 보려면 미리보기 아이콘을 클릭하십시오.
   
   STARTING_LIMIT및 ENDING_LIMIT열의 값을 사용하여 신청자의 신용평점을 기반으로 적절한 이자율을 검색할 수 있습니다. ID 열이 필요하지 않으므로 다음 단계에서 해당 열을 삭제합니다.

5. 추가 를 클릭하십시오.

이 태스크를 미리 보려면 08:35에서 시작하는 비디오를 보십시오.

각 신청자의 신용 점수를 기반으로 적절한 이자율을 검색하려고 합니다. Lookup 스테이지를 추가하고 각 이자율에 대한 신용평점 한계의 시작 및 종료 범위를 지정하려면 다음 단계를 수행하십시오.

1. 스테이지 섹션에서 Lookup 스테이지를 캔버스로 끌어 노드를 Transformer_1 및 Sequential_file_1 노드 사이의 링크 선에 놓으십시오.

2. DS_INTEREST_RATES_1 커넥터를 Lookup_1 스테이지에 연결하십시오.

3. DS_INTEREST_RATES_1 노드를 두 번 클릭하여 설정을 편집하십시오.

4. 출력 탭을 클릭하십시오.

   1. 열 섹션을 펼치고 편집을 클릭하십시오.

   2. _ID 열을 선택하십시오.

   3. _ID 열을 삭제하려면 삭제 아이콘을 클릭하십시오.

   4. 적용 및 리턴을 클릭하여 DS_INTEREST_RATES_1 노드 설정으로 돌아가십시오.

   5. 저장을 클릭하여 DS_INTEREST_RATES_1 노드에 대한 변경 사항을 저장합니다.

5. Lookup_1 노드를 두 번 클릭하여 설정을 편집하십시오.

6. 특성 섹션을 펼치십시오.

   1. 열에 범위 적용 필드의 경우 CREDIT_SCORE를 선택하십시오. 참조 링크, 연산자및 범위 컬럼 필드가 표시됩니다.

   2. 참조 링크의 경우 Link_9를 선택하십시오.

      참고: 링크 번호는 다를 수 있습니다.

   3. 첫 번째 연산자에 대해 < =를 선택하십시오.

   4. 첫 번째 범위 열의 경우 ENDING_LIMIT를 선택하십시오.

   5. 두 번째 연산자에 대해 > =를 선택하십시오.

   6. 두 번째 범위 열의 경우 STARTING_LIMIT를 선택하십시오.

7. 출력 탭을 클릭하십시오.

   1. 열 섹션을 펼치고 편집을 클릭하십시오.

   2. STARTING_LIMIT 및 ENDING_LIMIT 컬럼을 선택하십시오.

   3. 삭제 아이콘을 클릭하여 불필요한 STARTING_LIMIT 및 ENDING_LIMIT 컬럼을 삭제하십시오.

   4. 적용 및 리턴을 클릭하여 Lookup_1 노드 설정으로 돌아가십시오.

   5. 저장을 클릭하여 Lookup_1 노드에 대한 변경 사항을 저장합니다.

이 태스크를 미리 보려면 09:56에 시작하는 비디오를 보십시오.

다음 단계에 따라 순차 파일 노드를 편집하여 최종 출력 파일을 프로젝트의 데이터 자산으로 작성한 후 DataStage 플로우를 컴파일하고 실행하십시오.

1. Sequential_file_1 노드를 두 번 클릭하여 설정을 편집하십시오.

2. 입력 탭을 클릭하십시오.

3. 특성 섹션을 펼치십시오.

4. 대상 파일의 경우 파일 이름으로 MORTGAGE_APPLICANTS_INTEREST_RATES.CSV 를 복사하여 붙여넣으십시오.

5. 데이터 자산 작성을 선택하십시오.

6. 첫 번째 행이 열 이름 필드의 경우 True를 선택하십시오.

7. 저장 을 클릭하십시오.

8. 컴파일한 후 DataStage 플로우를 실행하는 실행 을 클릭하십시오. 작업을 완료하는 데 약 1분정도 걸립니다.

9. 플로우의 진행상태를 보려면 도구 모음에서 로그 를 클릭하십시오. 실행 중에 경고가 표시되는 것은 정상이며 플로우가 성공적으로 실행되었음을 확인할 수 있습니다.

이 태스크를 미리 보려면 10:28에 시작하는 비디오를 보십시오.

다른 데이터 엔지니어와 골든 뱅크의 비즈니스 분석가들은 모기지 금리에 액세스할 필요가 있습니다. IBM Knowledge Catalog Lite 플랜을 사용하여 두 개의 카탈로그를 작성할 수 있습니다. 이미 카탈로그가 있는 경우 이 단계를 건너뛰십시오. 그렇지 않으면 다음 단계를 완료하여 이자율 데이터 세트를 공개할 수 있는 카탈로그를 작성하십시오.

1. Cloud Pak for Data 탐색 메뉴 에서 카탈로그 > 모든 카탈로그 보기를 선택하십시오.

2. 카탈로그 페이지에 모기지 승인 카탈로그 가 표시되면 태스크 10: 출력 보기 및 카탈로그에 공개로 건너뛰십시오. 그렇지 않으면 다음 단계를 수행하여 새 카탈로그를 작성하십시오.

3. 카탈로그 작성을 클릭하십시오.

4. 이름의 경우, 앞이나 뒤에 공백 없이 표시된 대로 정확하게 카탈로그 이름을 복사하여 붙여넣으십시오.

   Mortgage Approval Catalog
   

5. 데이터 보호 규칙 적용을 선택하고 선택사항을 확인한 후 다른 필드의 기본값을 승인하십시오.

6. 작성을 클릭하십시오.

이 태스크를 미리 보려면 10:57에 시작하는 비디오를 보십시오.

프로젝트에서 출력 파일을 보고 카탈로그에 공개하려면 다음 단계를 수행하십시오.

1. Cloud Pak for Data 탐색 메뉴 에서 프로젝트 > 모든 프로젝트 보기를 선택하십시오.

2. 데이터 통합 프로젝트를 여십시오.

3. 자산 탭에서 데이터 > 데이터 자산을 클릭하십시오.

4. MORTGAGE_APPLICANTS_INTEREST_RATES.CSV 파일을 여십시오.

5. 각 데이터 항목의 끝에 이자율이 있는 통합 데이터 세트의 모든 열을 보려면 스크롤하십시오.

6. 탐색 추적에서 데이터 통합 을 클릭하여 프로젝트로 돌아가십시오.

7. 자산 탭에서 MORTGAGE_APPLICANTS_INTEREST_RATES.CSV 파일의 행 끝에 있는 오버플로우 메뉴를 클릭하고 카탈로그에 공개를 선택하십시오.

   1. 목록에서 모기지 승인 카탈로그 (또는 사용자의 카탈로그 이름) 를 선택하고 다음을 클릭하십시오.

   2. 공개 후 카탈로그로 이동옵션을 선택하고 다음을 클릭하십시오.

   3. 자산을 검토하고 공개를 클릭하십시오.

8. 카탈로그에서 Mortgage를 검색하십시오.

9. MORTGAGE_APPLICANTS_INTEREST_RATES.CSV 파일을 여십시오.

10. 데이터를 보려면 자산 탭을 클릭하십시오.