Lernprogramm zur Datenintegration: Daten replizieren

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 03:05an.

Als Teil der Voraussetzungenhaben Sie die neue Event Streams -Instanz bereitgestellt. Jetzt müssen Sie diese Serviceinstanz einrichten. Führen Sie die folgenden Schritte aus:

• Erstellen Sie ein Thema, um die aus den Quellendaten replizierten Daten in Db2 on Cloudzu speichern. Das Thema ist der Kern von Event Streams -Datenflüssen. Daten werden über ein Topic von sendenden Anwendungen an verarbeitende Anwendungen übergeben.

• Kopieren Sie Beispielcode, der die Bootstrap-Serverinformationen enthält, die zum Konfigurieren der Datenreplikation erforderlich sind.

• Erstellen Sie Berechtigungsnachweise, die Sie zum Erstellen einer Verbindung zum Service im Projekt verwenden.

1. Kehren Sie zur IBM Cloud -Konsole Ressourcenlistezurück.

2. Erweitern Sie den Abschnitt Integration .

3. Klicken Sie auf den Namen der Serviceinstanz für Ihre Event Streams -Instanz, um die Instanzdetails anzuzeigen.

4. Klicken Sie zum Erstellen des Themas zunächst auf die Seite Themen .

   1. Klicken Sie auf Thema erstellen.

   2. Geben Sie als Themenname golden-bank-mortgageein.

   3. Klicken Sie auf Weiter.

   4. Übernehmen Sie im Abschnitt Partitionen den Standardwert und klicken Sie auf Weiter.

   5. Akzeptieren Sie im Abschnitt Nachrichtenaufbewahrung den Standardwert und klicken Sie auf Thema erstellen.

   6. Öffnen Sie einen Texteditor und fügen Sie den Themennamen golden-bank-mortgage zur späteren Verwendung in die Textdatei ein.

5. Klicken Sie anschließend auf der Seite Topics auf Connect to this service , um die Verbindungsinformationen abzurufen.

   1. Kopieren Sie den Wert im Feld Bootstrap-Server . Der Bootstrap-Server ist erforderlich, um eine Verbindung zur Event Streams -Instanz in Ihrem Projekt herzustellen.

   2. Fügen Sie den Wert für den Bootstrap-Server zur späteren Verwendung in dieselbe Textdatei ein.

   3. Klicken Sie auf die Registerkarte Mustercode .

   4. Kopieren Sie den Wert im Feld Beispielkonfigurationseigenschaften . Sie verwenden einige Eigenschaften aus diesem Snippet, um eine sichere Verbindung zum Service herzustellen.

   5. Fügen Sie den Beispielcode zur späteren Verwendung in dieselbe Textdatei ein.

   6. Klicken Sie auf das X , um die Anzeige Verbindung zu diesem Service herstellen zu schließen.

6. Klicken Sie zum Erstellen der Berechtigungsnachweise auf die Seite Serviceberechtigungsnachweise .

   1. Klicken Sie auf Neuer Berechtigungsnachweis.

   2. Akzeptieren Sie den Standardnamen oder ändern Sie ihn bei Bedarf.

   3. Übernehmen Sie für Rolleden Standardwert Manager.

   4. Erweitern Sie den Abschnitt Erweiterte Optionen .

   5. Wählen Sie im Feld Service-ID auswählen die Option Automatisch generieren.

   6. Klicken Sie auf Hinzufügen.

   7. Klicken Sie neben den neuen Berechtigungsnachweisen auf das Symbol In Zwischenablage kopieren .

   8. Fügen Sie die Berechtigungsnachweise zur späteren Verwendung in dieselbe Textdatei ein.

Ihre Textdatei sollte alle folgenden Informationen enthalten:

TOPIC NAME: golden-bank-mortgage

BOOTSTRAP SERVER FIELD
broker-5-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-1-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-2-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-0-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-3-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-4-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093

SAMPLE CODE
bootstrap.servers=broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="token" password="<APIKEY>";
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
ssl.protocol=TLSv1.2
ssl.enabled.protocols=TLSv1.2
ssl.endpoint.identification.algorithm=HTTPS

CREDENTIALS
{
  "api_key": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "apikey": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "bootstrap_endpoints": "broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
  "iam_apikey_description": "Auto-generated for key crn:v1:bluemix:public:messagehub:us-south:a/a53b11fc95fcca4d96484d0de5f3bc3c:6b5a2cb2-74ef-432d-817f-f053873e7ed2:resource-key:96372942-5d26-4c59-8ca4-41ab6766ba91",
  "iam_apikey_name": "Service credentials-1",
  "iam_role_crn": "crn:v1:bluemix:public:iam::::serviceRole:Manager",
  "iam_serviceid_crn": "crn:v1:bluemix:public:iam-identity::a/a53b11fc95fcca4d96484d0de5f3bc3c::serviceid:ServiceId-4773bed1-f423-43ea-adff-469389dca54c",
  "instance_id": "6b5a2cb2-74ef-432d-817f-f053873e7ed2",
  "kafka_admin_url": "https://pqny71x0b9vh7nwh.svc11.us-south.eventstreams.cloud.ibm.com",
  "kafka_brokers_sasl": [
    "broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093"
  ],
  "kafka_http_url": "https://pqny71x0b9vh7nwh.svc11.us-south.eventstreams.cloud.ibm.com",
  "password": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "user": "token"

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 05:06an.

Das Beispielprojekt enthält eine Verbindung zur Db2 on Cloud -Instanz, in der die Quellendaten gespeichert werden. Führen Sie die folgenden Schritte aus, um das Verbindungsasset und die Scoredaten anzuzeigen:

1. Kehren Sie zur Browserregisterkarte Cloud Pak for Data as a Service zurück. Das Datenintegrationsprojekt wird angezeigt. Wenn Sie das Projekt nicht sehen, gehen Sie wie folgt vor:

   1. Wählen Sie im Navigationsmenü Cloud Pak for Data Projekte > Alle Projekte anzeigenaus.

   2. Klicken Sie auf das Projekt Datenintegration , um es zu öffnen.

2. Klicken Sie auf der Registerkarte Assets auf Alle Assets.

3. Suchen Sie das Verbindungsasset Data Fabric Trial- Db2 on Cloud -Source .

4. Suchen Sie das verbundene Datenasset CREDIT_SCORE .

5. Klicken Sie auf das Asset CREDIT_SCORE , um eine Vorschau anzuzeigen. Dieses Datenasset wird der Tabelle CREDIT_SCORE im Schema BANKING in der Db2 on Cloud -Instanz des Providers zugeordnet. Es enthält Informationen zu den Hypothekenantragstellern wie ID, Name, Adresse und Scorewert. Sie möchten die Datenreplikation für dieses Datenasset konfigurieren.

6. Klicken Sie auf Datenintegration Projektname im Navigationspfad, um zum Projekt zurückzukehren.
   

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 05:34an.

Um die Replikation einzurichten, benötigen Sie außerdem eine Verbindung zu der neuen Event Streams -Instanz, die Sie als Teil der Voraussetzungen mithilfe der Informationen bereitgestellt haben, die Sie in Task 1zusammengestellt haben. Führen Sie die folgenden Schritte aus, um das Verbindungsasset zu erstellen:

1. Klicken Sie auf der Registerkarte Assets auf Neues Asset > Verbindung zu einer Datenquelle herstellen.

2. Wähle ausApache Kafka Connector, und klicken Sie dann auf Nächste .

3. Geben Sie Event Streams als Namen ein.

4. Füllen Sie im Abschnitt Verbindungsdetailsdie folgenden Felder aus:

   • Hostname des Kafka -Servers: Fügen Sie den Bootstrap-Serverwert aus der Textdatei ein, die Sie in Task 1erstellt haben.
   • Sichere Verbindung: Wählen Sie SASL_SSLaus.
   • Benutzerprinzipalname: Fügen Sie den Wert user aus den Serviceberechtigungsnachweisen in Ihre Textdatei ein. Dieser Wert ist normalerweise token.
   • Kennwort: Fügen Sie den Wert password aus den Serviceberechtigungsnachweisen in Ihre Textdatei ein.

5. Klicken Sie auf Verbindung testen.

6. Wenn der Test erfolgreich ist, klicken Sie auf Create. Wenn der Test nicht erfolgreich ist, überprüfen Sie die Informationen, die Sie kopiert und aus Ihrer Textdatei eingefügt haben, und versuchen Sie es erneut. Wenn Sie aufgefordert werden, die Erstellung der Verbindung zu bestätigen, ohne Position und Souveränität festzulegen, klicken Sie erneut auf Erstellen .

7. Klicken Sie auf Alle Assets , um die neue Verbindung anzuzeigen.

Für eine Vorschau dieser Task sehen Sie sich das Video ab 06:32an.

Wenn Sie den Service Data Replication in Ihrem Projekt verwenden möchten, müssen Sie Ihre Serviceinstanz dem Projekt zuordnen. Führen Sie die folgenden Schritte aus, um den Service Event Streams dem Datenintegrationsprojekt zuzuordnen:

1. Klicken Sie im Projekt Datenintegration auf die Registerkarte Verwalten .

2. Klicken Sie auf die Seite Services und Integrationen .

3. Klicken Sie auf Service zuordnen.

4. Aktivieren Sie das Kontrollkästchen neben Ihrer Data Replication -Serviceinstanz.

5. Klicken Sie auf Zuordnen.

6. Klicken Sie auf Abbrechen , um zur Seite Services und Integrationen zurückzukehren.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 06:53an.

Jetzt können Sie ein Asset Data Replication erstellen, um die fortlaufende Datenreplikation zwischen der Db2 on Cloud -Quelle und dem Ziel Event Streams zu starten. Führen Sie die folgenden Schritte aus, um die Datenreplikation einzurichten:

1. Klicken Sie im Projekt auf die Registerkarte Assets .

2. Klicken Sie auf Neues Asset > Daten replizieren.

3. Geben Sie CreditScoreReplication als Namen ein.

4. Klicken Sie auf Quellenoptionen.

5. Wählen Sie auf der Seite Quellenoptionen in der Liste der Verbindungen Data Fabric Trial- Db2 on Cloud -Quelle aus.

6. Klicken Sie auf Daten auswählen.

7. Wählen Sie auf der Seite Daten auswählen das Schema BANKING > CREDIT_SCORE aus.

8. Klicken Sie auf Zieloptionen.

9. Wählen Sie auf der Seite Zieloptionen in der Liste der Verbindungen Ereignisströme aus.

10. Fügen Sie im Feld Standardthema den in Aufgabe 1erstellten Themennamen golden-bank-mortgageein.

11. Akzeptieren Sie den Standardwert für die restlichen Felder und klicken Sie auf Überprüfen.

12. Überprüfen Sie die Zusammenfassung und klicken Sie auf Create.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 07:54an.

Nach der Erstellung des Assets Data Replication können Sie die Datenreplikation ausführen und Informationen zum Replikationsstatus anzeigen. Führen Sie die folgenden Schritte aus, um die Datenreplikation auszuführen:

1. Auf derCreditScoreReplication Klicken Sie auf dem Bildschirm auf das Laufen Symbol , um den Replikationsprozess zu starten.

   Wenn Sie zum ersten Mal ein Data Replication -Asset ausführen, werden Sie möglicherweise aufgefordert, einen API-Schlüssel anzugeben. Datenreplikationsassets verwenden Ihren persönlichen IBM Cloud -API-Schlüssel, um Replikationsoperationen sicher und ohne Unterbrechung auszuführen. Wenn ein bestimmter API-Schlüssel verwendet werden soll, klicken Sie auf das Symbol Einstellungen .

   • Wenn Sie einen vorhandenen API-Schlüssel haben, klicken Sie auf Vorhandenen API-Schlüssel verwenden, fügen Sie den API-Schlüssel ein und klicken Sie auf Speichern.
   • Wenn kein API-Schlüssel vorhanden ist, klicken Sie auf Neuen API-Schlüssel generierenund anschließend auf Generieren. Speichern Sie den API-Schlüssel zur späteren Verwendung und klicken Sie anschließend auf Schließen.

2. Klicken Sie im Abschnitt Ereignisprotokolle auf das Symbol Aktualisieren , um neue Nachrichten anzuzeigen.

3. Nach einigen Minuten wird die Nachricht Completed initial synchronization for table "BANKING"."CREDIT_SCORE" im Abschnitt Ereignisprotokolle angezeigt.

Ab diesem Punkt werden alle Änderungen am BANKING.CREDIT_SCORE in der Db2 on Cloud -Instanz wird automatisch erkannt und auf das Ziel repliziert.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 09:03an.

Sie können Python -Code verwenden, um zu überprüfen, ob die Scoredaten in den Event Streams -Hub der Golden Bank repliziert wurden. Das Beispielprojekt enthält ein Jupyter-Notebook mit dem Beispielcode Python . Gehen Sie wie folgt vor, um den Code im Notebook zu bearbeiten und auszuführen:

1. Klicken Sie auf den Projektnamen Datenintegration im Navigationspfad, um zum Projekt zurückzukehren.
   

2. Klicken Sie auf die Registerkarte Assets.

3. Klicken Sie auf Alle Assets.

4. Klicken Sie auf das Menü Überlauf am Ende der Zeile für das Notizbuch Datenreplikation überwachen und wählen Sie Bearbeitenaus.

5. Führen Sie die erste Codezelle aus, um die Python-Bibliothek Kafkazu installieren.

6. Bearbeiten Sie die zweite Zelle unter Verwendung der Informationen, die Sie in einer Textdatei aus Aufgabe 1gespeichert haben.

   • topic: Fügen Sie den Themennamen ein. Dieser Wert ist golden-bank-mortgage.

   • bootstrap_servers: Fügen Sie den Wert für den Bootstrap-Server aus Ihrer Textdatei ein, der dem folgenden Wert ähnelt:

     broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093
     

   • sasl_plain_username: Fügen Sie den Wert user aus den Serviceberechtigungsnachweisen in die Textdatei ein. Dieser Wert ist normalerweise token.

   • security_protocol: Fügen Sie den Wert security.protocol aus der Textdatei ein. Dieser Wert ist normalerweise SASL_SSL.

   • sasl_mechanism: Fügen Sie den Wert sasl.mechanism aus der Textdatei ein. Dieser Wert ist normalerweise PLAIN.

   • sasl_plain_password: Fügen Sie den Wert password aus den Serviceberechtigungsnachweisen in die Textdatei ein.

7. Nachdem Sie alle Werte eingegeben haben, führen Sie den Code in der zweiten Zelle aus, um die Verbindungsinformationen für Ihre Event Streams -Instanz bereitzustellen.

8. Führen Sie den Code in der dritten Zelle aus, um Datensätze aus Ihrem Event Streams -Thema zu verarbeiten.

9. Führen Sie den Code in der vierten Zelle aus, um die in Ihrem Konsumentenobjekt erfassten Nachrichten auszugeben.

10. Überprüfen Sie die Ausgabe mit dem Inhalt der Nachrichten, die von der Replikation in Ihrem Event Streams -Abschnitt zugestellt wurden. Vergleichen Sie dies mit dem Datenasset CREDIT_SCORE, das Sie in Aufgabe 2angezeigt haben.

11. Klicken Sie auf Datei > Speichern , um das Jupyter-Notebook mit Ihren gespeicherten Berechtigungsnachweisen zu speichern.