データ統合チュートリアル: データの複製

このタスクをプレビューするには、 03:05から始まるビデオをご覧ください。

前提条件の一部として、新しい Event Streams インスタンスをプロビジョンしました。 次に、そのサービス・インスタンスをセットアップする必要があります。 以下の手順を実行します。

• Db2 on Cloudでソース・データから複製されたデータを保管するためのトピックを作成します。 このトピックは、 Event Streams フローの中核です。 データは、プロデュース側アプリケーションからコンシューム側アプリケーションへとトピックを介して受け渡しされます。

• データ複製のセットアップに必要なブートストラップ・サーバー情報を含むサンプル・コードをコピーします。

• プロジェクト内のサービスへの接続を作成するために使用する資格情報を作成します。

1. IBM Cloud コンソール リソース・リストに戻ります。

2. 「統合」 セクションを展開します。

3. Event Streams インスタンスのサービス・インスタンス名をクリックして、インスタンスの詳細を表示します。

4. 最初に、 「トピック」 ページをクリックしてトピックを作成します。

   1. 「トピックの作成」をクリックします。

   2. 「トピック名」に golden-bank-mortgageと入力します。

   3. 次へ をクリックします。

   4. 「パーティション」 セクションで、デフォルト値を受け入れて、 「次へ」をクリックします。

   5. 「メッセージ保存」 セクションで、デフォルト値を受け入れて、 「トピックの作成」をクリックします。

   6. テキスト・エディターを開き、後で使用するためにトピック名 golden-bank-mortgage をテキスト・ファイルに貼り付けます。

5. 次に、 「トピック」 ページに戻り、 「このサービスに接続」 をクリックして接続情報を取得します。

   1. 「ブートストラップ・サーバー」 フィールドの値をコピーします。 ブートストラップ・サーバーは、プロジェクト内の Event Streams インスタンスへの接続を作成するときに必要です。

   2. 後で使用するために、ブートストラップ・サーバー値を同じテキスト・ファイルに貼り付けます。

   3. 「サンプル・コード」 タブをクリックします。

   4. 「サンプル構成プロパティー」 フィールドの値をコピーします。 このスニペットのいくつかのプロパティーを使用して、サービスに安全に接続します。

   5. 後で使用するために、サンプル・コードを同じテキスト・ファイルに貼り付けます。

   6. 「X」 をクリックして、 「このサービスへの接続」 パネルを閉じます。

6. 最後に、資格情報を作成するために、 「サービス資格情報」 ページをクリックします。

   1. 「新規資格情報」をクリックします。

   2. デフォルト名を受け入れるか、必要に応じて変更します。

   3. 「役割」で、デフォルト値の 「マネージャー」を受け入れます。

   4. 「拡張オプション」 セクションを展開します。

   5. 「サービス ID の選択」 フィールドで、 「自動生成」を選択します。

   6. 追加 をクリックします。

   7. 新しい資格情報の横にある 「クリップボードにコピー」 アイコンをクリックします。

   8. 後で使用するために、資格情報を同じテキスト・ファイルに貼り付けます。

テキスト・ファイルには、以下のすべての情報が含まれている必要があります。

TOPIC NAME: golden-bank-mortgage

BOOTSTRAP SERVER FIELD
broker-5-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-1-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-2-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-0-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-3-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-4-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093

SAMPLE CODE
bootstrap.servers=broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="token" password="<APIKEY>";
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
ssl.protocol=TLSv1.2
ssl.enabled.protocols=TLSv1.2
ssl.endpoint.identification.algorithm=HTTPS

CREDENTIALS
{
  "api_key": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "apikey": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "bootstrap_endpoints": "broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
  "iam_apikey_description": "Auto-generated for key crn:v1:bluemix:public:messagehub:us-south:a/a53b11fc95fcca4d96484d0de5f3bc3c:6b5a2cb2-74ef-432d-817f-f053873e7ed2:resource-key:96372942-5d26-4c59-8ca4-41ab6766ba91",
  "iam_apikey_name": "Service credentials-1",
  "iam_role_crn": "crn:v1:bluemix:public:iam::::serviceRole:Manager",
  "iam_serviceid_crn": "crn:v1:bluemix:public:iam-identity::a/a53b11fc95fcca4d96484d0de5f3bc3c::serviceid:ServiceId-4773bed1-f423-43ea-adff-469389dca54c",
  "instance_id": "6b5a2cb2-74ef-432d-817f-f053873e7ed2",
  "kafka_admin_url": "https://pqny71x0b9vh7nwh.svc11.us-south.eventstreams.cloud.ibm.com",
  "kafka_brokers_sasl": [
    "broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093"
  ],
  "kafka_http_url": "https://pqny71x0b9vh7nwh.svc11.us-south.eventstreams.cloud.ibm.com",
  "password": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "user": "token"

このタスクをプレビューするには、 05:06から始まるビデオをご覧ください。

サンプル・プロジェクトには、ソース・データが保管されている Db2 on Cloud インスタンスへの接続が含まれています。 接続資産およびクレジット・スコア・データを表示するには、以下の手順を実行します。

1. Cloud Pak for Data as a Service ブラウザー・タブに戻ります。 データ統合プロジェクトが表示されます。 プロジェクトが表示されない場合は、以下の手順を実行します。

   1. Cloud Pak for Data のナビゲーション・メニュー から、 「プロジェクト」>「すべてのプロジェクトを表示」を選択します。

   2. 「データ統合」 プロジェクトをクリックして開きます。

2. 「アセット」 タブで、 「すべてのアセット」をクリックします。

3. Data Fabric Trial- Db2 on Cloud -Source 接続資産を見つけます。

4. CREDIT_SCORE 接続済みデータ資産を見つけます。

5. CREDIT_SCORE 資産をクリックして、プレビューを表示します。 このデータ資産は、プロバイダーの Db2 on Cloud インスタンスの BANKING スキーマの CREDIT_SCORE テーブルにマップされます。 これには、ID、名前、住所、クレジット・スコアなど、住宅ローン申請者に関する情報が含まれます。 このデータ資産のデータ複製をセットアップする必要があります。

6. ナビゲーション・トレールで 「データ統合」 プロジェクト名をクリックして、プロジェクトに戻ります。
   

このタスクをプレビューするには、 05:34から始まるビデオをご覧ください。

複製をセットアップするには、 タスク 1で収集した情報を使用して、 前提条件 の一部としてプロビジョンした新しい Event Streams インスタンスへの接続も必要です。 接続資産を作成するには、以下の手順を実行します。

1. 「アセット」 タブで、 「新規アセット」>「データ・ソースへの接続」をクリックします。

2. を選択Apache Kafkaコネクタをクリックし、次。

3. 名前の場合は、 Event Streamsと入力します。

4. 「接続の詳細」セクションで、以下のフィールドに入力します。

   • Kafka サーバー・ホスト名: タスク 1で作成したテキスト・ファイルからブートストラップ・サーバー値を貼り付けます。
   • セキュア接続: 「SASL_SSL」を選択します。
   • ユーザー・プリンシパル名: サービス資格情報 の user 値をテキスト・ファイルに貼り付けます。 通常、この値は tokenです。
   • パスワード: サービス資格情報 の password 値をテキスト・ファイルに貼り付けます。

5. 「テスト接続」をクリックします。

6. テストが成功したら、 「作成」をクリックします。 テストが成功しない場合は、テキスト・ファイルからコピーして貼り付けた情報を確認し、再試行してください。 ロケーションと主権を設定せずに接続の作成を確認するプロンプトが出された場合は、 「作成」 を再度クリックします。

7. 「すべての資産」 をクリックして、新規接続を表示します。

このタスクをプレビューするには、 06:32から始まるビデオをご覧ください。

プロジェクトで Data Replication サービスを使用するには、サービス・インスタンスをプロジェクトに関連付ける必要があります。 以下のステップに従って、 Event Streams サービスをデータ統合プロジェクトに関連付けます。

1. 「データ統合」 プロジェクトで、 「管理」 タブをクリックします。

2. 「サービスおよび統合 (Services and integrations)」 ページをクリックします。

3. 「サービスの関連付け」をクリックします。

4. Data Replication サービス・インスタンスの横にあるボックスにチェック・マークを付けます。

5. 「関連付け」をクリックします。

6. 「キャンセル」 をクリックして、 「サービス」&「統合」 ページに戻ります。

このタスクをプレビューするには、 06:53から始まるビデオをご覧ください。

これで、 Data Replication アセットを作成して、 Db2 on Cloud ソースと Event Streams ターゲットの間で継続的なデータ複製を開始できるようになりました。 データ複製をセットアップするには、以下の手順を実行します。

1. プロジェクトの 「資産」 タブをクリックします。

2. 「新規資産」>「データの複製」をクリックします。

3. 名前の場合は、 CreditScoreReplicationと入力します。

4. 「ソース・オプション」をクリックします。

5. 「ソース・オプション」 ページで、接続のリストから Data Fabric Trial- Db2 on Cloud -Source を選択します。

6. 「データの選択」をクリックします。

7. 「データの選択」 ページで、 BANKING schema> CREDIT_SCORE テーブルを選択します。

8. ターゲット・オプションをクリックしてください。

9. 「ターゲット・オプション」 ページで、接続のリストから 「イベント・ストリーム」 を選択します。

10. 「デフォルト・トピック」 フィールドに、 タスク 1で作成したトピック名 golden-bank-mortgageを貼り付けます。

11. 残りのフィールドのデフォルト値を受け入れて、 「レビュー」をクリックします。

12. 要約を確認し、 「作成」をクリックします。

このタスクをプレビューするには、 07:54から始まるビデオをご覧ください。

Data Replication 資産を作成した後、データ複製を実行し、複製状況に関する情報を表示することができます。 データ複製を実行するには、以下の手順を実行します。

1. 上のCreditScoreReplication画面で、走るアイコンレプリケーション プロセスを開始します。

   Data Replication 資産を初めて実行する場合は、API キーの指定を求めるプロンプトが表示されることがあります。 データ複製資産は、個人用の IBM Cloud API キーを使用して、中断することなく複製操作を安全に実行します。 特定の API キーを使用する場合は、 「設定」 アイコン をクリックします。

   • 既存の API キーがある場合は、 「既存の API キーを使用 (Use existing API key)」をクリックし、API キーを貼り付け、 「保存」をクリックします。
   • 既存の API キーがない場合は、 「新規 API キーの生成」をクリックしてから、 「生成」をクリックします。 今後の使用のために API キーを保存し、 「閉じる」をクリックします。

2. 「イベント・ログ」 セクションで、 「最新表示」 アイコン をクリックして、新しいメッセージを表示します。

3. 数分後に、 「イベント・ログ」 セクションに Completed initial synchronization for table "BANKING"."CREDIT_SCORE" というメッセージが表示されます。

この時点から、 Db2 on Cloud インスタンス内の BANKING.CREDIT_SCORE 表に対する変更が自動的に検出され、ターゲットに複製されます。

このタスクをプレビューするには、 09:03から始まるビデオをご覧ください。

Python コードを使用して、クレジット・スコア・データがゴールデン・バンクの Event Streams ハブに複製されたことを確認できます。 サンプル・プロジェクトには、サンプルの Python コードを含む Jupyter ノートブックが含まれています。 ノートブックでコードを編集して実行するには、以下の手順に従います。

1. ナビゲーション・トレールで 「データ統合」 プロジェクト名をクリックして、プロジェクトに戻ります。
   

2. 「資産」タブをクリックします。

3. 「すべての資産」をクリックします。

4. 「データ複製のモニター」 ノートブックの行の末尾にある 「オーバーフロー」 メニュー をクリックし、 「編集」を選択します。

5. 最初のコード・セルを実行して、 Kafka-python ライブラリーをインストールします。

6. タスク 1でテキスト・ファイルに保存した情報を使用して、2 番目のセルを編集します。

   • topic: トピック名を貼り付けます。 この値は golden-bank-mortgageです。

   • bootstrap_servers: テキスト・ファイルからブートストラップ・サーバー値を貼り付けます。この値は、以下のようになります。

     broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093
     

   • sasl_plain_username: サービス資格情報 の user 値をテキスト・ファイルに貼り付けます。 通常、この値は tokenです。

   • security_protocol: テキスト・ファイルから security.protocol 値を貼り付けます。 通常、この値は SASL_SSLです。

   • sasl_mechanism: テキスト・ファイルから sasl.mechanism 値を貼り付けます。 通常、この値は PLAINです。

   • sasl_plain_password: サービス資格情報 の password 値をテキスト・ファイルに貼り付けます。

7. すべての値を入力した後、2 番目のセルのコードを実行して、 Event Streams インスタンスの接続情報を指定します。

8. 3 番目のセルのコードを実行して、 Event Streams トピックからのレコードを取り込みます。

9. 4 番目のセルのコードを実行して、コンシューマー・オブジェクトに取り込まれたメッセージを印刷します。

10. Event Streams トピックへの複製によって配信されたメッセージの内容を示す出力を確認します。 それを、 タスク 2で表示した CREDIT_SCORE データ資産と比較します。

11. 「ファイル」>「保存」 をクリックして、保管した資格情報で Jupyter ノートブックを保存します。