Tutoriel d'intégration de données: Réplication de données

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 03:05.

Dans le cadre des prérequis, vous avez mis à disposition une nouvelle instance Event Streams . Vous devez maintenant configurer cette instance de service. Procédez comme suit pour:

• Créez une rubrique pour stocker les données répliquées à partir des données source dans Db2 on Cloud. Cette rubrique est le coeur des flux Event Streams . Les données transitent par une rubrique entre les applications productrices et les applications consommatrices.

• Copiez l'exemple de code qui contient les informations de serveur d'amorçage nécessaires pour configurer la réplication de données.

• Créez les données d'identification que vous utiliserez pour créer une connexion au service dans le projet.

1. Revenez à la IBM Cloud Liste des ressources.

2. Développez la section Intégration .

3. Cliquez sur le nom d'instance de service de votre instance Event Streams pour afficher les détails de l'instance.

4. Tout d'abord, pour créer la rubrique, cliquez sur la page Rubriques .

   1. Cliquez sur Créer une rubrique.

   2. Pour Nom de rubrique, entrez golden-bank-mortgage.

   3. Cliquez sur Suivant.

   4. Dans la section Partitions , acceptez la valeur par défaut, puis cliquez sur Suivant.

   5. Dans la section Conservation des messages , acceptez la valeur par défaut et cliquez sur Créer une rubrique.

   6. Ouvrez un éditeur de texte et collez le nom de rubrique golden-bank-mortgage dans le fichier texte à utiliser ultérieurement.

5. Ensuite, dans la page Rubriques , cliquez sur Se connecter à ce service pour extraire les informations de connexion.

   1. Copiez la valeur dans la zone Serveur d'amorçage . Le serveur d'amorçage est requis lors de la création d'une connexion à l'instance Event Streams dans votre projet.

   2. Collez la valeur du serveur d'amorçage dans le même fichier texte à utiliser ultérieurement.

   3. Cliquez sur l'onglet Exemple de code .

   4. Copiez la valeur dans la zone Sample configuration properties . Vous utiliserez certaines propriétés de ce fragment pour vous connecter de manière sécurisée au service.

   5. Collez l'exemple de code dans le même fichier texte à utiliser ultérieurement.

   6. Cliquez sur le X pour fermer le panneau Connexion à ce service .

6. Enfin, pour créer les données d'identification, cliquez sur la page Données d'identification du service .

   1. Cliquez sur Nouvelles données d'identification.

   2. Acceptez le nom par défaut ou modifiez-le si vous le souhaitez.

   3. Pour le Rôle, acceptez la valeur par défaut de Manager.

   4. Développez la section Options avancées .

   5. Dans la zone Sélectionner un ID de service , sélectionnez Générer automatiquement.

   6. Cliquez sur Ajouter.

   7. En regard des nouvelles données d'identification, cliquez sur l'icône Copier dans le presse-papiers .

   8. Collez les données d'identification dans le même fichier texte à utiliser ultérieurement.

Votre fichier texte doit contenir toutes les informations suivantes:

TOPIC NAME: golden-bank-mortgage

BOOTSTRAP SERVER FIELD
broker-5-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-1-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-2-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-0-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-3-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-4-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093

SAMPLE CODE
bootstrap.servers=broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="token" password="<APIKEY>";
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
ssl.protocol=TLSv1.2
ssl.enabled.protocols=TLSv1.2
ssl.endpoint.identification.algorithm=HTTPS

CREDENTIALS
{
  "api_key": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "apikey": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "bootstrap_endpoints": "broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
  "iam_apikey_description": "Auto-generated for key crn:v1:bluemix:public:messagehub:us-south:a/a53b11fc95fcca4d96484d0de5f3bc3c:6b5a2cb2-74ef-432d-817f-f053873e7ed2:resource-key:96372942-5d26-4c59-8ca4-41ab6766ba91",
  "iam_apikey_name": "Service credentials-1",
  "iam_role_crn": "crn:v1:bluemix:public:iam::::serviceRole:Manager",
  "iam_serviceid_crn": "crn:v1:bluemix:public:iam-identity::a/a53b11fc95fcca4d96484d0de5f3bc3c::serviceid:ServiceId-4773bed1-f423-43ea-adff-469389dca54c",
  "instance_id": "6b5a2cb2-74ef-432d-817f-f053873e7ed2",
  "kafka_admin_url": "https://pqny71x0b9vh7nwh.svc11.us-south.eventstreams.cloud.ibm.com",
  "kafka_brokers_sasl": [
    "broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093"
  ],
  "kafka_http_url": "https://pqny71x0b9vh7nwh.svc11.us-south.eventstreams.cloud.ibm.com",
  "password": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "user": "token"

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 05:06.

L'exemple de projet inclut une connexion à l'instance Db2 on Cloud dans laquelle les données source sont stockées. Pour afficher l'actif de connexion et les données de score de crédit, procédez comme suit:

1. Revenez à l'onglet de navigateur Cloud Pak for Data as a Service . Le projet d'intégration de données s'affiche. Si vous ne voyez pas le projet, procédez comme suit:

   1. Dans le Cloud Pak for Data , sélectionnez Projets > Afficher tous les projets.

   2. Cliquez sur le projet Intégration de données pour l'ouvrir.

2. Dans l'onglet Actifs , cliquez sur Tous les actifs.

3. Localisez l'actif de connexion Data Fabric Trial- Db2 on Cloud -Source .

4. Localisez l'actif de données connecté CREDIT_SCORE .

5. Cliquez sur l'actif CREDIT_SCORE pour afficher un aperçu. Cet actif de données est mappé à la table CREDIT_SCORE dans le schéma BANKING de l'instance Db2 on Cloud du fournisseur. Il inclut des informations sur les demandeurs d'hypothèque, telles que l'ID, le nom, l'adresse et le score de crédit. Vous souhaitez configurer la réplication de données pour cet actif de données.

6. Cliquez sur le nom de projet Intégration de données dans la trace de navigation pour revenir au projet.
   

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 05:34.

Pour configurer la réplication, vous avez également besoin d'une connexion à la nouvelle instance Event Streams que vous avez mise à disposition dans le cadre des prérequis à l'aide des informations collectées dans la Tâche 1. Pour créer l'actif de connexion, procédez comme suit:

1. Dans l'onglet Actifs , cliquez sur Nouvel actif > Connexion à une source de données.

2. Sélectionnez leApache Kafka connecteur, puis cliquez sur Suivant .

3. Pour le nom, entrez Event Streams.

4. Dans la section Détails de connexion, renseignez les zones suivantes:

   • Nom d'hôte du serveur Kafka : collez la valeur du serveur d'amorçage à partir du fichier texte que vous avez créé dans Tâche 1.
   • Connexion sécurisée: sélectionnez SASL_SSL.
   • Nom principal d'utilisateur: collez la valeur user des données d'identification du service dans votre fichier texte. Cette valeur est généralement token.
   • Mot de passe: collez la valeur password à partir des données d'identification du service dans votre fichier texte.

5. Cliquez sur Tester la connexion.

6. Une fois le test réussi, cliquez sur Créer. Si le test échoue, vérifiez les informations que vous avez copiées et collées à partir de votre fichier texte, puis réessayez. Si vous êtes invité à confirmer la création de la connexion sans définir l'emplacement et la souveraineté, cliquez à nouveau sur Créer .

7. Cliquez sur Tous les actifs pour afficher la nouvelle connexion.

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 06:32.

Pour utiliser le service Data Replication dans votre projet, vous devez associer votre instance de service au projet. Procédez comme suit pour associer le service Event Streams au projet d'intégration de données:

1. Dans le projet Intégration de données , cliquez sur l'onglet Gérer .

2. Cliquez sur la page Services et intégrations .

3. Cliquez sur Associer un service.

4. Cochez la case en regard de votre instance de service Data Replication .

5. Cliquez sur Associer.

6. Cliquez sur Annuler pour revenir à la page Services & Intégrations .

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 06:53.

Vous pouvez maintenant créer un actif Data Replication pour démarrer la réplication de données continue entre la source Db2 on Cloud et la cible Event Streams . Pour configurer la réplication de données, procédez comme suit:

1. Cliquez sur l'onglet Actifs dans le projet.

2. Cliquez sur Nouvel actif > Répliquer les données.

3. Pour le nom, entrez CreditScoreReplication.

4. Cliquez sur Options source.

5. Sur la page Options source , sélectionnez Data Fabric Trial- Db2 on Cloud -Source dans la liste des connexions.

6. Cliquez sur Sélectionner des données.

7. Sur la page Sélectionner des données , sélectionnez le schéma BANKING > CREDIT_SCORE .

8. Cliquez sur Options cible.

9. Dans la page Options cible , sélectionnez Flux d'événements dans la liste des connexions.

10. Dans la zone Rubrique par défaut , collez le nom de rubrique créé dans Tâche 1, golden-bank-mortgage.

11. Acceptez la valeur par défaut pour le reste des zones et cliquez sur Vérifier.

12. Passez en revue le récapitulatif et cliquez sur Créer.

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 07:54.

Après avoir créé l'actif Data Replication , vous pouvez exécuter la réplication de données et afficher des informations sur le statut de la réplication. Pour exécuter la réplication de données, procédez comme suit:

1. Sur leCreditScoreReplication écran, cliquez sur le Courir icône pour démarrer le processus de réplication.

   S'il s'agit de votre première exécution d'un actif Data Replication , vous pouvez être invité à fournir une clé d'API. Les actifs de réplication de données utilisent votre clé d'API IBM Cloud personnelle pour exécuter des opérations de réplication en toute sécurité sans interruption. Si vous souhaitez utiliser une clé d'API spécifique, cliquez sur l'icône Paramètres .

   • Si vous disposez d'une clé d'API existante, cliquez sur Utiliser une clé d'API existante, collez la clé d'API, puis cliquez sur Sauvegarder.
   • Si vous ne disposez pas d'une clé d'API existante, cliquez sur Générer une nouvelle clé d'API, puis sur Générer. Sauvegardez la clé d'API pour une utilisation ultérieure, puis cliquez sur Fermer.

2. Dans la section Journaux des événements , cliquez sur l'icône Actualiser pour afficher les nouveaux messages.

3. Au bout de quelques minutes, le message Completed initial synchronization for table "BANKING"."CREDIT_SCORE" s'affiche dans la section Journaux des événements .

A partir de ce point, toutes les modifications apportées à BANKING.CREDIT_SCORE de l'instance Db2 on Cloud sera détectée automatiquement et répliquée sur la cible.

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 09:03.

Vous pouvez utiliser le code Python pour vérifier que les données de score de crédit ont été répliquées dans le concentrateur Event Streams de Golden Bank. L'exemple de projet inclut un bloc-notes Jupyter contenant l'exemple de code Python . Pour éditer et exécuter le code dans le bloc-notes, procédez comme suit:

1. Cliquez sur le nom de projet Intégration de données dans la trace de navigation pour revenir au projet.
   

2. Cliquez sur l'onglet Actifs.

3. Cliquez sur Tous les actifs.

4. Cliquez sur le menu déroulant dynamique à la fin de la ligne du bloc-notes Surveiller la réplication des données et choisissez Editer.

5. Exécutez la première cellule de code pour installer la bibliothèque Kafka-python.

6. Editez la deuxième cellule à l'aide des informations que vous avez enregistrées dans un fichier texte à partir de la Tâche 1.

   • topic: collez le nom de la rubrique. Cette valeur est golden-bank-mortgage.

   • bootstrap_servers: collez la valeur du serveur d'amorçage à partir de votre fichier texte, qui doit être similaire à la valeur suivante:

     broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093
     

   • sasl_plain_username: collez la valeur user des données d'identification du service dans le fichier texte. Cette valeur est généralement token.

   • security_protocol: collez la valeur security.protocol dans le fichier texte. Cette valeur est généralement SASL_SSL.

   • sasl_mechanism: collez la valeur sasl.mechanism à partir du fichier texte. Cette valeur est généralement PLAIN.

   • sasl_plain_password: collez la valeur password des données d'identification du service dans le fichier texte.

7. Après avoir renseigné toutes les valeurs, exécutez le code dans la deuxième cellule afin de fournir les informations de connexion pour votre instance Event Streams .

8. Exécutez le code de la troisième cellule pour consommer les enregistrements de votre rubrique Event Streams .

9. Exécutez le code de la quatrième cellule pour imprimer les messages capturés dans votre objet consommateur.

10. Examinez la sortie affichant le contenu des messages distribués par la réplication dans votre rubrique Event Streams . Comparez cela à l'actif de données CREDIT_SCORE que vous avez affiché dans la Tâche 2.

11. Cliquez sur Fichier > Sauvegarder pour sauvegarder le bloc-notes Jupyter avec vos données d'identification stockées.