Guía de aprendizaje de integración de datos: replicar datos

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 03:05.

Como parte de los Requisitos previos, ha suministrado una nueva instancia de Event Streams . Ahora, debe configurar esa instancia de servicio. Siga estos pasos para:

• Cree un tema para almacenar los datos replicados de los datos de origen en Db2 on Cloud. El tema es el núcleo de los flujos de Event Streams . Los datos pasan a través de un tema desde las aplicaciones productoras a las aplicaciones consumidoras.

• Copie el código de ejemplo que contiene la información del servidor de rutina de carga necesaria para configurar la réplica de datos.

• Cree las credenciales que utilizará para crear una conexión con el servicio en el proyecto.

1. Vuelva a la IBM Cloud Lista de recursos.

2. Expanda la sección Integración .

3. Pulse el nombre de instancia de servicio para la instancia de Event Streams para ver los detalles de la instancia.

4. En primer lugar, para crear el tema, pulse la página Temas .

   1. Pulse Crear tema.

   2. Para el Nombre de tema, escriba golden-bank-mortgage.

   3. Pulse Siguiente.

   4. En la sección Particiones , acepte el valor predeterminado y pulse Siguiente.

   5. En la sección Retención de mensajes , acepte el valor predeterminado y pulse Crear tema.

   6. Abra un editor de texto y pegue el nombre de tema golden-bank-mortgage en el archivo de texto para utilizarlo más adelante.

5. A continuación, vuelva a la página Temas , pulse Conectar a este servicio para recuperar la información de conexión.

   1. Copie el valor en el campo Servidor de programa de arranque . El servidor de rutina de carga es necesario al crear una conexión con la instancia de Event Streams en el proyecto.

   2. Pegue el valor del servidor de rutina de carga en el mismo archivo de texto para utilizarlo más adelante.

   3. Pulse la pestaña Código de ejemplo .

   4. Copie el valor en el campo Propiedades de configuración de ejemplo . Utilizará algunas propiedades de este fragmento de código para conectarse de forma segura al servicio.

   5. Pegue el código de ejemplo en el mismo archivo de texto para utilizarlo más adelante.

   6. Pulse la X para cerrar el panel Conectar a este servicio .

6. Por último, para crear las credenciales, pulse la página Credenciales de servicio .

   1. Pulse Nueva credencial.

   2. Acepte el nombre predeterminado o cámbielo si lo prefiere.

   3. Para el Rol, acepte el valor predeterminado de Gestor.

   4. Expanda la sección Opciones avanzadas .

   5. En el campo Seleccionar ID de servicio , seleccione Generar automáticamente.

   6. Pulse Añadir.

   7. Junto a las nuevas credenciales, pulse el icono Copiar en portapapeles .

   8. Pegue las credenciales en el mismo archivo de texto para utilizarlas más adelante.

El archivo de texto debe contener toda la información siguiente:

TOPIC NAME: golden-bank-mortgage

BOOTSTRAP SERVER FIELD
broker-5-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-1-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-2-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-0-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-3-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-4-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093

SAMPLE CODE
bootstrap.servers=broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="token" password="<APIKEY>";
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
ssl.protocol=TLSv1.2
ssl.enabled.protocols=TLSv1.2
ssl.endpoint.identification.algorithm=HTTPS

CREDENTIALS
{
  "api_key": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "apikey": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "bootstrap_endpoints": "broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
  "iam_apikey_description": "Auto-generated for key crn:v1:bluemix:public:messagehub:us-south:a/a53b11fc95fcca4d96484d0de5f3bc3c:6b5a2cb2-74ef-432d-817f-f053873e7ed2:resource-key:96372942-5d26-4c59-8ca4-41ab6766ba91",
  "iam_apikey_name": "Service credentials-1",
  "iam_role_crn": "crn:v1:bluemix:public:iam::::serviceRole:Manager",
  "iam_serviceid_crn": "crn:v1:bluemix:public:iam-identity::a/a53b11fc95fcca4d96484d0de5f3bc3c::serviceid:ServiceId-4773bed1-f423-43ea-adff-469389dca54c",
  "instance_id": "6b5a2cb2-74ef-432d-817f-f053873e7ed2",
  "kafka_admin_url": "https://pqny71x0b9vh7nwh.svc11.us-south.eventstreams.cloud.ibm.com",
  "kafka_brokers_sasl": [
    "broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
    "broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093"
  ],
  "kafka_http_url": "https://pqny71x0b9vh7nwh.svc11.us-south.eventstreams.cloud.ibm.com",
  "password": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "user": "token"

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 05:06.

El proyecto de ejemplo incluye una conexión con la instancia de Db2 on Cloud donde se almacenan los datos de origen. Siga estos pasos para ver el activo de conexión y los datos de puntuación de crédito:

1. Vuelva al separador del navegador de Cloud Pak for Data as a Service . Verá el proyecto de integración de datos. Si no ve el proyecto, siga estos pasos:

   1. En el menú de navegación Cloud Pak for Data , seleccione Proyectos > Ver todos los proyectos.

   2. Pulse el proyecto Integración de datos para abrirlo.

2. En la pestaña Activos , pulse Todos los activos.

3. Localice el activo de conexión Data Fabric Trial- Db2 on Cloud -Source .

4. Localice el activo de datos conectado CREDIT_SCORE .

5. Pulse el activo CREDIT_SCORE para ver una vista previa. Este activo de datos se correlaciona con la tabla CREDIT_SCORE del esquema BANKING en la instancia de Db2 on Cloud del proveedor. Incluye información sobre los solicitantes de la hipoteca como, por ejemplo, ID, nombre, dirección y puntuación de crédito. Desea configurar la réplica de datos para este activo de datos.

6. Pulse el nombre del proyecto Integración de datos en la ruta de navegación para volver al proyecto.
   

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 05:34.

Para configurar la réplica, también necesita una conexión con la nueva instancia de Event Streams que ha suministrado como parte de los Requisitos previos utilizando la información que ha recopilado en la Tarea 1. Siga estos pasos para crear el activo de conexión:

1. En la pestaña Activos , pulse Nuevo activo > Conectar a un origen de datos.

2. Selecciona elApache Kafka conector y luego haga clic en Próximo .

3. Para el Nombre, escriba Event Streams.

4. En la sección Detalles de conexión, complete los campos siguientes:

   • Nombre de host del servidor Kafka : pegue el valor del servidor de rutina de carga desde el archivo de texto que ha creado en la Tarea 1.
   • Conexión segura: seleccione SASL_SSL.
   • Nombre de principal de usuario: pegue el valor user de las credenciales de servicio en el archivo de texto. Este valor suele ser token.
   • Contraseña: pegue el valor password de las credenciales de servicio en el archivo de texto.

5. Pulse Probar conexión.

6. Cuando la prueba sea satisfactoria, pulse Crear. Si la prueba no es satisfactoria, verifique la información que ha copiado y pegado del archivo de texto e inténtelo de nuevo. Si se le solicita que confirme la creación de la conexión sin establecer la ubicación y la soberanía, pulse Crear de nuevo.

7. Pulse Todos los activos para ver la nueva conexión.

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 06:32.

Para utilizar el servicio Data Replication en el proyecto, debe asociar la instancia de servicio con el proyecto. Siga estos pasos para asociar el servicio Event Streams con el proyecto de integración de datos:

1. En el proyecto Integración de datos , pulse el separador Gestionar .

2. Pulse la página Servicios e integraciones .

3. Pulse Asociar servicio.

4. Marque el recuadro situado junto a la instancia de servicio de Data Replication .

5. Pulse Asociar.

6. Pulse Cancelar para volver a la página Servicios e integraciones .

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 06:53.

Ahora puede crear un activo de Data Replication para iniciar la réplica de datos continua entre el origen de Db2 on Cloud y el destino de Event Streams . Siga estos pasos para configurar la réplica de datos:

1. Pulse la pestaña Activos en el proyecto.

2. Pulse Nuevo activo > Replicar datos.

3. Para el Nombre, escriba CreditScoreReplication.

4. Pulse Opciones de origen.

5. En la página Opciones de origen , seleccione Data Fabric Trial- Db2 on Cloud -Source en la lista de conexiones.

6. Pulse Seleccionar datos.

7. En la página Seleccionar datos , seleccione la tabla BANKING esquema > CREDIT_SCORE .

8. Pulse Opciones de destino.

9. En la página Opciones de destino , seleccione Corrientes de sucesos en la lista de conexiones.

10. En el campo Tema predeterminado , pegue el nombre de tema creado en Tarea 1, golden-bank-mortgage.

11. Acepte el valor predeterminado para el resto de los campos y pulse Revisar.

12. Revise el resumen y pulse Crear.

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 07:54.

Después de crear el activo Data Replication , puede ejecutar la réplica de datos y ver información sobre el estado de la réplica. Siga estos pasos para ejecutar la réplica de datos:

1. Sobre elCreditScoreReplication pantalla, haga clic en el Correr icono para iniciar el proceso de replicación.

   Si es la primera vez que ejecuta un activo de Data Replication , es posible que se le solicite que proporcione una clave de API. Los activos de réplica de datos utilizan su clave de API personal de IBM Cloud para ejecutar operaciones de réplica de forma segura sin interrupciones. Si desea utilizar una clave de API específica, pulse el icono Valores .

   • Si tiene una clave de API existente, pulse Utilizar clave de API existente, pegue la clave de API y pulse Guardar.
   • Si no tiene una clave de API existente, pulse Generar nueva clave de APIy, a continuación, pulse Generar. Guarde la clave de API para utilizarla en el futuro y, a continuación, pulse Cerrar.

2. En la sección Registros de sucesos , pulse el icono Renovar para ver los mensajes nuevos.

3. Después de unos minutos, se muestra el mensaje Completed initial synchronization for table "BANKING"."CREDIT_SCORE" en la sección Registros de sucesos .

A partir de este punto, cualquier cambio en el BANKING.CREDIT_SCORE de la instancia de Db2 on Cloud se detectará automáticamente y se replicará en el destino.

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 09:03.

Puede utilizar el código Python para verificar que los datos de puntuación de crédito se han replicado en el concentrador de Event Streams de Golden Bank. El proyecto de ejemplo incluye un cuaderno Jupyter que contiene el código Python de ejemplo. Siga estos pasos para editar y ejecutar el código en el cuaderno:

1. Pulse el nombre del proyecto Integración de datos en la ruta de navegación para volver al proyecto.
   

2. Pulse la pestaña Activos.

3. Pulse Todos los activos.

4. Pulse el menú Desbordamiento al final de la fila para el cuaderno Supervisar réplica de datos y elija Editar.

5. Ejecute la primera celda de código para instalar la biblioteca Kafka-python.

6. Edite la segunda celda utilizando la información que ha guardado en un archivo de texto de la Tarea 1.

   • topic: pegar el nombre del tema. Este valor es golden-bank-mortgage.

   • bootstrap_servers: pegue el valor del servidor de rutina de carga desde el archivo de texto, que debería ser similar a este valor:

     broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,
     broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093
     

   • sasl_plain_username: pegue el valor user de las credenciales de servicio en el archivo de texto. Este valor suele ser token.

   • security_protocol: pegue el valor security.protocol del archivo de texto. Este valor suele ser SASL_SSL.

   • sasl_mechanism: pegue el valor sasl.mechanism del archivo de texto. Este valor suele ser PLAIN.

   • sasl_plain_password: pegue el valor password de las credenciales de servicio en el archivo de texto.

7. Después de completar todos los valores, ejecute el código en la segunda celda para proporcionar la información de conexión para la instancia de Event Streams .

8. Ejecute el código en la tercera celda para consumir registros del tema Event Streams .

9. Ejecute el código en la cuarta celda para imprimir los mensajes capturados en el objeto de consumidor.

10. Revise la salida que muestra el contenido de los mensajes entregados por la réplica en el tema Event Streams . Compárelo con el activo de datos CREDIT_SCORE que ha visualizado en la Tarea 2.

11. Pulse Archivo > Guardar para guardar el cuaderno Jupyter con las credenciales almacenadas.