데이터 통합 학습서: 데이터 복제

이 태스크를 미리 보려면 03:05에서 시작하는 비디오를 보십시오.

전제조건의 일부로 새 Event Streams 인스턴스를 프로비저닝했습니다. 이제 해당 서비스 인스턴스를 설정해야 합니다. 다음 단계를 수행하십시오.

• Db2 on Cloud의 소스 데이터에서 복제된 데이터를 저장할 주제를 작성하십시오. 이 주제는 Event Streams 플로우의 핵심입니다. 데이터는 토픽을 통해 생성 애플리케이션에서 이용 애플리케이션으로 전달됩니다.

• 데이터 복제를 설정하는 데 필요한 부트스트랩 서버 정보를 포함하는 샘플 코드를 복사하십시오.

• 프로젝트에서 서비스에 대한 연결을 작성하는 데 사용할 신임 정보를 작성하십시오.

1. IBM Cloud 콘솔 리소스 목록으로 돌아가십시오.

2. 통합 섹션을 펼치십시오.

3. Event Streams 인스턴스의 서비스 인스턴스 이름을 클릭하여 인스턴스 세부사항을 보십시오.

4. 먼저, 토픽을 작성하려면 토픽 페이지를 클릭하십시오.

   1. 주제 작성을 클릭하십시오.

   2. 주제 이름에 golden-bank-mortgage를 입력하십시오.

   3. 다음 을 클릭하십시오.

   4. 파티션 섹션에서 기본값을 승인하고 다음을 클릭하십시오.

   5. 메시지 보존 섹션에서 기본값을 승인하고 토픽 작성을 클릭하십시오.

   6. 텍스트 편집기를 열고 나중에 사용할 수 있도록 주제 이름 golden-bank-mortgage 을 텍스트 파일에 붙여넣으십시오.

5. 그런 다음 주제 페이지로 돌아가서 이 서비스에 연결 을 클릭하여 연결 정보를 검색하십시오.

   1. 부트스트랩 서버 필드의 값을 복사하십시오. 부트스트랩 서버는 프로젝트에서 Event Streams 인스턴스에 대한 연결을 작성할 때 필요합니다.

   2. 부트스트랩 서버 값을 나중에 사용할 동일한 텍스트 파일에 붙여넣으십시오.

   3. 샘플 코드 탭을 클릭하십시오.

   4. 샘플 구성 특성 필드의 값을 복사하십시오. 이 스니펫의 일부 특성을 사용하여 서비스에 안전하게 연결합니다.

   5. 나중에 사용하기 위해 동일한 텍스트 파일에 샘플 코드를 붙여넣으십시오.

   6. X 를 클릭하여 이 서비스에 연결 패널을 닫으십시오.

6. 마지막으로 신임 정보를 작성하려면 서비스 신임 정보 페이지를 클릭하십시오.

   1. 새 인증 정보를 클릭하십시오.

   2. 기본 이름을 승인하거나, 원하는 경우 변경하십시오.

   3. 역할에 대해 관리자의 기본값을 승인하십시오.

   4. 고급 옵션 섹션을 펼치십시오.

   5. 서비스 ID 선택 필드에서 자동 생성을 선택하십시오.

   6. 추가 를 클릭하십시오.

   7. 새 신임 정보 옆에 있는 클립보드에 복사 아이콘을 클릭하십시오.

   8. 나중에 사용하도록 동일한 텍스트 파일에 신임 정보를 붙여넣으십시오.

텍스트 파일에는 다음 정보가 모두 포함되어야 합니다.

TOPIC NAME: golden-bank-mortgage

BOOTSTRAP SERVER FIELD
broker-5-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-1-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-2-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-0-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-3-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-4-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093

SAMPLE CODE
bootstrap.servers=broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="token" password="<APIKEY>";
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
ssl.protocol=TLSv1.2
ssl.enabled.protocols=TLSv1.2
ssl.endpoint.identification.algorithm=HTTPS

CREDENTIALS
{
  "api_key": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "apikey": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "bootstrap_endpoints": "broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
  "iam_apikey_description": "Auto-generated for key crn:v1:bluemix:public:messagehub:us-south:a/a53b11fc95fcca4d96484d0de5f3bc3c:6b5a2cb2-74ef-432d-817f-f053873e7ed2:resource-key:96372942-5d26-4c59-8ca4-41ab6766ba91",
  "iam_apikey_name": "Service credentials-1",
  "iam_role_crn": "crn:v1:bluemix:public:iam::::serviceRole:Manager",
  "iam_serviceid_crn": "crn:v1:bluemix:public:iam-identity::a/a53b11fc95fcca4d96484d0de5f3bc3c::serviceid:ServiceId-4773bed1-f423-43ea-adff-469389dca54c",
  "instance_id": "6b5a2cb2-74ef-432d-817f-f053873e7ed2",
  "kafka_admin_url": "https://pqny71x0b9vh7nwh.svc11.us-south.eventstreams.cloud.ibm.com",
  "kafka_brokers_sasl": [
    "broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093"
  ],
  "kafka_http_url": "https://pqny71x0b9vh7nwh.svc11.us-south.eventstreams.cloud.ibm.com",
  "password": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "user": "token"

이 태스크를 미리보려면 05:06에서 시작하는 비디오를 보십시오.

샘플 프로젝트에는 소스 데이터가 저장되는 Db2 on Cloud 인스턴스에 대한 연결이 포함되어 있습니다. 연결 자산 및 신용평점 데이터를 보려면 다음 단계를 수행하십시오.

1. Cloud Pak for Data as a Service 브라우저 탭으로 돌아가십시오. 데이터 통합 프로젝트가 표시됩니다. 프로젝트가 표시되지 않으면 다음 단계를 수행하십시오.

   1. Cloud Pak for Data 탐색 메뉴 에서 프로젝트 > 모든 프로젝트 보기를 선택하십시오.

   2. 데이터 통합 프로젝트를 클릭하여 여십시오.

2. 자산 탭에서 모든 자산을 클릭하십시오.

3. Data Fabric 평가판- Db2 on Cloud -소스 연결 자산을 찾으십시오.

4. CREDIT_SCORE 연결 데이터 자산을 찾으십시오.

5. 미리보기를 보려면 CREDIT_SCORE 자산을 누르십시오. 이 데이터 자산은 제공자의 Db2 on Cloud 인스턴스에 있는 BANKING 스키마의 CREDIT_SCORE 테이블에 맵핑됩니다. 여기에는 모기지 신청자에 대한 정보 (예: ID, 이름, 주소 및 신용평점) 가 포함됩니다. 이 데이터 자산에 대한 데이터 복제를 설정하려고 합니다.

6. 탐색 추적에서 데이터 통합 프로젝트 이름을 클릭하여 프로젝트로 돌아가십시오.
   

이 태스크를 미리 보려면 05:34에서 시작하는 비디오를 보십시오.

복제를 설정하려면 태스크 1에서 수집한 정보를 사용하여 전제조건 의 일부로 프로비저닝한 새 Event Streams 인스턴스에 대한 연결도 필요합니다. 연결 자산을 작성하려면 다음 단계를 수행하십시오.

1. 자산 탭에서 새 자산 > 데이터 소스에 연결을 클릭하십시오.

2. 선택Apache Kafka 커넥터를 클릭한 다음 다음 .

3. 이름의 경우 Event Streams을(를) 입력하십시오.

4. 연결 세부사항 섹션에서 다음 필드를 완료하십시오.

   • Kafka 서버 호스트 이름: 태스크 1에서 작성한 텍스트 파일에서 부트스트랩 서버 값을 붙여넣으십시오.
   • 보안 연결: SASL_SSL을 선택하십시오.
   • 사용자 프린시펄 이름: 서비스 신임 정보 의 user 값을 텍스트 파일에 붙여넣으십시오. 이 값은 일반적으로 token입니다.
   • 비밀번호: 서비스 신임 정보 의 password 값을 텍스트 파일에 붙여넣으십시오.

5. 연결 테스트를 클릭하십시오.

6. 테스트에 성공하면 작성을 클릭하십시오. 테스트에 실패하면 텍스트 파일에서 복사하여 붙여넣은 정보를 확인하고 다시 시도하십시오. 위치 및 주권을 설정하지 않고 연결 작성을 확인하는 프롬프트가 표시되면 작성 을 다시 클릭하십시오.

7. 새 연결을 보려면 모든 자산 을 클릭하십시오.

이 태스크를 미리 보려면 06:32에서 시작하는 비디오를 보십시오.

프로젝트에서 Data Replication 서비스를 사용하려면 서비스 인스턴스를 프로젝트와 연관시켜야 합니다. Event Streams 서비스를 데이터 통합 프로젝트와 연관시키려면 다음 단계를 수행하십시오.

1. 데이터 통합 프로젝트에서 관리 탭을 클릭하십시오.

2. 서비스 및 통합 페이지를 클릭하십시오.

3. 서비스 연관을 클릭하십시오.

4. Data Replication 서비스 인스턴스 옆에 있는 상자를 선택하십시오.

5. 연관을 클릭하십시오.

6. 취소 를 클릭하여 서비스 및 통합 페이지로 돌아가십시오.

이 태스크를 미리보려면 06:53에서 시작하는 비디오를 보십시오.

이제 Data Replication 자산을 작성하여 Db2 on Cloud 소스와 Event Streams 대상 간에 연속적인 데이터 복제를 시작할 수 있습니다. 데이터 복제를 설정하려면 다음 단계를 수행하십시오.

1. 프로젝트에서 자산 탭을 클릭하십시오.

2. 새 자산 > 데이터 복제를 클릭하십시오.

3. 이름의 경우 CreditScoreReplication을(를) 입력하십시오.

4. 소스 옵션을 클릭하십시오.

5. 소스 옵션 페이지의 연결 목록에서 Data Fabric 평가판- Db2 on Cloud -소스 를 선택하십시오.

6. 데이터 선택을 클릭하십시오.

7. 데이터 선택 페이지에서 BANKING 스키마 > CREDIT_SCORE 테이블을 선택하십시오.

8. 대상 옵션을 클릭하십시오.

9. 대상 옵션 페이지의 연결 목록에서 이벤트 스트림 을 선택하십시오.

10. 기본 주제 필드에서 태스크 1, golden-bank-mortgage에 작성된 주제 이름을 붙여넣으십시오.

11. 나머지 필드에 대해 기본값을 승인하고 검토를 클릭하십시오.

12. 요약을 검토하고 작성을 클릭하십시오.

이 태스크를 미리 보려면 07:54에서 시작하는 비디오를 보십시오.

Data Replication 자산을 작성한 후 데이터 복제를 실행하고 복제 상태에 대한 정보를 볼 수 있습니다. 데이터 복제를 실행하려면 다음 단계를 수행하십시오.

1. 에CreditScoreReplication 화면에서 달리다 상 복제 프로세스를 시작합니다.

   Data Replication 자산을 처음 실행하는 경우 API키를 제공하도록 프롬프트가 표시될 수 있습니다. 데이터 복제 자산은 개인 IBM Cloud API키를 사용하여 중단 없이 복제 조작을 안전하게 실행합니다. 특정 API키를 사용하려면 설정 아이콘 을 클릭하십시오.

   • 기존 API키가 있는 경우 기존 API키 사용을 클릭하고 API키를 붙여넣은 후 저장을 클릭하십시오.
   • 기존 API키가 없는 경우 새 API키 생성을 클릭한 후 생성을 클릭하십시오. 나중에 사용할 수 있도록 API키를 저장한 후 닫기를 클릭하십시오.

2. 이벤트 로그 섹션에서 새로 고치기 아이콘 을 클릭하여 새 메시지를 확인하십시오.

3. 몇 분 후에 Completed initial synchronization for table "BANKING"."CREDIT_SCORE" 메시지가 이벤트 로그 섹션에 표시됩니다.

이 시점부터 Db2 on Cloud 인스턴스의 BANKING.CREDIT_SCORE 테이블에 대한 변경사항이 자동으로 발견되고 대상에 복제됩니다.

이 태스크를 미리 보려면 09:03에 시작하는 비디오를 보십시오.

Python 코드를 사용하여 신용평점 데이터가 Golden Bank의 Event Streams 허브에 복제되었는지 확인할 수 있습니다. 샘플 프로젝트에는 샘플 Python 코드를 포함하는 Jupyter 노트북이 포함되어 있습니다. 노트북에서 코드를 편집하고 실행하려면 다음 단계를 수행하십시오.

1. 탐색 추적에서 데이터 통합 프로젝트 이름을 클릭하여 프로젝트로 돌아가십시오.
   

2. 자산 탭을 클릭하십시오.

3. 모든 자산을 클릭하십시오.

4. 데이터 복제 모니터 노트북의 행 끝에 있는 오버플로우 메뉴 를 클릭하고 편집을 선택하십시오.

5. 첫 번째 코드 셀을 실행하여 Kafka-python 라이브러리를 설치하십시오.

6. 태스크 1의 텍스트 파일에 저장한 정보를 사용하여 두 번째 셀을 편집하십시오.

   • 주제: 주제 이름을 붙여넣으십시오. 이 값은 golden-bank-mortgage입니다.

   • bootstrap_servers: 텍스트 파일에서 부트스트랩 서버 값을 붙여넣으십시오. 이 값은 다음과 유사해야 합니다.

     broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093
     

   • sasl_plain_username: 텍스트 파일의 서비스 신임 정보 에서 user 값을 붙여넣으십시오. 이 값은 일반적으로 token입니다.

   • security_protocol: 텍스트 파일에서 security.protocol 값을 붙여넣으십시오. 이 값은 일반적으로 SASL_SSL입니다.

   • sasl_mechanism: 텍스트 파일에서 sasl.mechanism 값을 붙여넣으십시오. 이 값은 일반적으로 PLAIN입니다.

   • sasl_plain_password: 텍스트 파일의 서비스 신임 정보 에서 password 값을 붙여넣으십시오.

7. 모든 값을 완료한 후 두 번째 셀에서 코드를 실행하여 Event Streams 인스턴스에 대한 연결 정보를 제공하십시오.

8. 세 번째 셀의 코드를 실행하여 Event Streams 주제의 레코드를 이용하십시오.

9. 네 번째 셀에서 코드를 실행하여 이용자 오브젝트에 캡처된 메시지를 인쇄하십시오.

10. 복제에 의해 Event Streams 주제로 전달된 메시지의 컨텐츠를 표시하는 출력을 검토하십시오. 이를 태스크 2에서 본 CREDIT_SCORE 데이터 자산과 비교하십시오.

11. 파일 > 저장 을 클릭하여 저장된 신임 정보와 함께 Jupyter 노트북을 저장하십시오.