Siga esta guía de aprendizaje para configurar la réplica de datos entre un almacén de datos de origen y de destino con el caso de uso de integración de datos de la prueba de entramado de datos. Su objetivo es utilizar Data Replication para integrar la información de puntuación de crédito del origen de datos Db2 on Cloud del proveedor configurando un canal de información de réplica casi en tiempo real y continuo con una captura de datos eficiente de la base de datos de origen en la instancia de Event Streams de Golden Bank. Event Streams es un bus de mensajes de alto rendimiento creado con Apache Kafka. Está optimizado para la ingesta de sucesos en IBM Cloud y para la distribución de secuencias de sucesos entre los servicios y las aplicaciones. Para obtener más información sobre Event Streams, consulte la sección Más información .
La historia de la guía de aprendizaje es que Golden Bank necesita cumplir con un nuevo reglamento por el que no puede realizar préstamos a los solicitantes de préstamos que no estén cualificados. Como ingeniero de datos en Golden Bank, necesita proporcionar acceso a las puntuaciones de crédito más actualizadas de los solicitantes de préstamos. Estas puntuaciones de crédito proceden de una base de datos Db2 on Cloud propiedad de un proveedor externo y se entregan continuamente en el concentrador de Event Streams de Golden Bank. Los datos del concentrador de Event Streams los utiliza la aplicación para buscar puntuaciones de crédito para los solicitantes de hipoteca para determinar la aprobación de préstamo para los solicitantes cualificados.
La siguiente imagen animada proporciona una vista previa rápida de lo que logrará al final del tutorial. Pulse la imagen para ver una imagen más grande.
Vista previa de la guía de aprendizaje
En esta guía de aprendizaje, realizará estas tareas:
- Configure los requisitos previos.
- Tarea 1: Configurar Event Streams.
- Tarea 2: Ver datos de puntuación de crédito.
- Tarea 3: Crear una conexión con la instancia de Event Streams .
- Tarea 4: Asociar el servicio Data Replication con el proyecto.
- Tarea 5: Configurar la réplica de datos.
- Tarea 6: Ejecutar réplica de datos.
- Tarea 7: Verificar la réplica de datos.
- Limpiar
Vea este vídeo para obtener una vista preliminar de los pasos de esta guía de aprendizaje. Puede haber pequeñas diferencias en la interfaz de usuario que se muestra en el vídeo. El vídeo está pensado para ser un compañero del tutorial escrito.
Este vídeo proporciona un método visual para aprender los conceptos y tareas de esta documentación.
Sugerencias para completar esta guía de aprendizaje
Estas son algunas sugerencias para completar correctamente esta guía de aprendizaje.
Utilizar la imagen en imagen de vídeo
La siguiente imagen animada muestra cómo utilizar las características de imagen en imagen y tabla de contenido de vídeo:
Obtener ayuda en la comunidad
Si necesita ayuda con este tutorial, puede hacer una pregunta o encontrar una respuesta en el foro de debate de la Comunidad deCloud Pak for Data.
Configurar las ventanas del navegador
Para obtener la experiencia óptima al completar esta guía de aprendizaje, abra Cloud Pak for Data en una ventana de navegador y mantenga abierta esta página de la guía de aprendizaje en otra ventana de navegador para conmutar fácilmente entre las dos aplicaciones. Considere la posibilidad de organizar las dos ventanas del navegador una al lado de la otra para que sea más fácil de seguir.
Configurar los requisitos previos
Registro en Cloud Pak for Data as a Service
Debe registrarse en Cloud Pak for Data as a Service y suministrar los servicios necesarios para el caso de uso de integración de datos.
- Si tiene una cuenta de Cloud Pak for Data as a Service existente, puede empezar con esta guía de aprendizaje. Si tiene una cuenta de plan Lite, sólo un usuario por cuenta puede ejecutar esta guía de aprendizaje.
- Si todavía no tiene una cuenta de Cloud Pak for Data as a Service , regístrese para una prueba de entramado de datos.
' Vea el siguiente vídeo para aprender sobre el tejido de datos en Cloud Pak for Data.
Este vídeo proporciona un método visual para aprender los conceptos y tareas de esta documentación.
Verificar los servicios suministrados necesarios
' Para previsualizar esta tarea, vea el vídeo que comienza en 01:29.
Siga estos pasos para verificar o suministrar los servicios necesarios:
En Cloud Pak for Data, verifique que está en la región de Dallas. Si no es así, haz clic en el menú desplegable de la región y selecciona Dallas.
En el menú de navegación ' , seleccione Servicios > Instancias de servicio.
Utilice la lista desplegable Producto para determinar si existe una instancia de servicio de Data Replication existente.
Si necesita crear una instancia de servicio de Data Replication , pulse Añadir servicio.
Seleccione Data Replication.
Seleccione el plan Lite.
Pulse Crear.
Espere mientras se suministra el servicio de Data Replication , que puede tardar unos minutos en completarse.
Repita estos pasos para verificar o suministrar los siguientes servicios adicionales:
- estudio watsonx.ai
- Cloud Object Storage
- Event Streams : es posible que se le solicite que inicie sesión en la cuenta de IBM Cloud .
' Comprueba tu progreso
La imagen siguiente muestra las instancias de servicio suministradas. Ahora está preparado para crear el proyecto de ejemplo.
Crear el proyecto de ejemplo
' Para previsualizar esta tarea, vea el vídeo que comienza en 02:19.
Si ya tiene el proyecto de ejemplo para esta guía de aprendizaje, vaya a la Tarea 1. De lo contrario, siga estos pasos:
Acceda al proyecto de ejemplo del tutorial de integración de datos en el centro de recursos.
Pulse Crear proyecto.
Si se le solicita que asocie el proyecto a una instancia de Cloud Object Storage, seleccione una instancia de Cloud Object Storage de la lista.
Pulse Crear.
Espere a que finalice la importación del proyecto y, a continuación, pulse Ver proyecto nuevo para verificar que el proyecto y los activos se han creado correctamente.
Pulse la ficha Activos para ver las conexiones, el activo de datos conectado y el cuaderno.
' Comprueba tu progreso
La imagen siguiente muestra el separador Activos en el proyecto de ejemplo. Ahora está preparado para iniciar la guía de aprendizaje.
Tarea 1: Configurar Event Streams
' Para previsualizar esta tarea, vea el vídeo que comienza en 03:05.
Como parte de los Requisitos previos, ha suministrado una nueva instancia de Event Streams . Ahora, debe configurar esa instancia de servicio. Siga estos pasos para:
Cree un tema para almacenar los datos replicados de los datos de origen en Db2 on Cloud. El tema es el núcleo de los flujos de Event Streams . Los datos pasan a través de un tema desde las aplicaciones productoras a las aplicaciones consumidoras.
Copie el código de ejemplo que contiene la información del servidor de rutina de carga necesaria para configurar la réplica de datos.
Cree las credenciales que utilizará para crear una conexión con el servicio en el proyecto.
Vuelva a la lista de recursos de la consola IBM Cloud.
Expanda la sección Integración .
Pulse el nombre de instancia de servicio para la instancia de Event Streams para ver los detalles de la instancia.
En primer lugar, para crear el tema, pulse la página Temas .
Pulse Crear tema.
Para el Nombre de tema, escriba
golden-bank-mortgage
.Pulse Siguiente.
En la sección Particiones , acepte el valor predeterminado y pulse Siguiente.
En la sección Retención de mensajes , acepte el valor predeterminado y pulse Crear tema.
Abra un editor de texto y pegue el nombre de tema
golden-bank-mortgage
en el archivo de texto para utilizarlo más adelante.
A continuación, vuelva a la página Temas , pulse Conectar a este servicio para recuperar la información de conexión.
Copie el valor en el campo Servidor de programa de arranque . El servidor de rutina de carga es necesario al crear una conexión con la instancia de Event Streams en el proyecto.
Pegue el valor del servidor de rutina de carga en el mismo archivo de texto para utilizarlo más adelante.
Pulse la pestaña Código de ejemplo .
Copie el valor en el campo Propiedades de configuración de ejemplo . Utilizará algunas propiedades de este fragmento de código para conectarse de forma segura al servicio.
Pegue el código de ejemplo en el mismo archivo de texto para utilizarlo más adelante.
Pulse la X para cerrar el panel Conectar a este servicio .
Por último, para crear las credenciales, pulse la página Credenciales de servicio .
Pulse Nueva credencial.
Acepte el nombre predeterminado o cámbielo si lo prefiere.
Para el Rol, acepte el valor predeterminado de Gestor.
Expanda la sección Opciones avanzadas .
En el campo Seleccionar ID de servicio , seleccione Generar automáticamente.
Pulse Añadir.
Junto a las nuevas credenciales, pulse el icono Copiar en portapapeles .
Pegue las credenciales en el mismo archivo de texto para utilizarlas más adelante.
El archivo de texto debe contener toda la información siguiente:
TOPIC NAME: golden-bank-mortgage
BOOTSTRAP SERVER FIELD
broker-5-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-1-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-2-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-0-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-3-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093,broker-4-7w81scvsqh485hbz.kafka.svc04.us-south.eventstreams.cloud.ibm.com:9093
SAMPLE CODE
bootstrap.servers=broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="token" password="<APIKEY>";
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
ssl.protocol=TLSv1.2
ssl.enabled.protocols=TLSv1.2
ssl.endpoint.identification.algorithm=HTTPS
CREDENTIALS
{
"api_key": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
"apikey": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
"bootstrap_endpoints": "broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093,broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
"iam_apikey_description": "Auto-generated for key crn:v1:bluemix:public:messagehub:us-south:a/a53b11fc95fcca4d96484d0de5f3bc3c:6b5a2cb2-74ef-432d-817f-f053873e7ed2:resource-key:96372942-5d26-4c59-8ca4-41ab6766ba91",
"iam_apikey_name": "Service credentials-1",
"iam_role_crn": "crn:v1:bluemix:public:iam::::serviceRole:Manager",
"iam_serviceid_crn": "crn:v1:bluemix:public:iam-identity::a/a53b11fc95fcca4d96484d0de5f3bc3c::serviceid:ServiceId-4773bed1-f423-43ea-adff-469389dca54c",
"instance_id": "6b5a2cb2-74ef-432d-817f-f053873e7ed2",
"kafka_admin_url": "https://pqny71x0b9vh7nwh.svc11.us-south.eventstreams.cloud.ibm.com",
"kafka_brokers_sasl": [
"broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
"broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
"broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
"broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
"broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093",
"broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093"
],
"kafka_http_url": "https://pqny71x0b9vh7nwh.svc11.us-south.eventstreams.cloud.ibm.com",
"password": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
"user": "token"
' Comprueba tu progreso
La imagen siguiente muestra la página Temas para la instancia de Event Streams en IBM Cloud. Ahora está preparado para crear una conexión con la instancia de Event Streams en el proyecto.
Tarea 2: Ver los datos de puntuación de crédito
' Para previsualizar esta tarea, vea el vídeo que comienza en 05:06.
El proyecto de ejemplo incluye una conexión con la instancia de Db2 on Cloud donde se almacenan los datos de origen. Siga estos pasos para ver el activo de conexión y los datos de puntuación de crédito:
Vuelva al separador del navegador de Cloud Pak for Data as a Service . Verá el proyecto de integración de datos. Si no ve el proyecto, siga estos pasos:
En el menú de navegación ' , seleccione Proyectos > Ver todos los proyectos.
Pulse el proyecto Integración de datos para abrirlo.
En la pestaña Activos , pulse Todos los activos.
Localice el activo de conexión Data Fabric Trial- Db2 on Cloud -Source .
Localice el activo de datos conectado CREDIT_SCORE .
Pulse el activo CREDIT_SCORE para ver una vista previa. Este activo de datos se correlaciona con la tabla CREDIT_SCORE del esquema BANKING en la instancia de Db2 on Cloud del proveedor. Incluye información sobre los solicitantes de la hipoteca como, por ejemplo, ID, nombre, dirección y puntuación de crédito. Desea configurar la réplica de datos para este activo de datos.
Haga clic en Nombre del proyecto de integración de datos en la ruta de navegación para volver al proyecto.
' Comprueba tu progreso
La imagen siguiente muestra el activo de datos de puntuación de crédito en el proyecto de ejemplo. Ahora está preparado para crear una conexión con el servicio Event Streams en este proyecto.
Tarea 3: Crear una conexión con la instancia de Event Streams
' Para previsualizar esta tarea, vea el vídeo a partir del minuto 05:34.
Para configurar la réplica, también necesita una conexión con la nueva instancia de Event Streams que ha suministrado como parte de los Requisitos previos utilizando la información que ha recopilado en la Tarea 1. Siga estos pasos para crear el activo de conexión:
En la pestaña Activos , pulse Nuevo activo > Conectar a un origen de datos.
Selecciona elApache Kafka conector y luego haga clic en Próximo .
Para el Nombre, escriba
Event Streams
.En la sección Detalles de conexión, complete los campos siguientes:
- Nombre de host del servidor Kafka : pegue el valor del servidor de rutina de carga desde el archivo de texto que ha creado en la Tarea 1.
- Conexión segura: seleccione SASL_SSL.
- Nombre de principal de usuario: pegue el valor user de las credenciales de servicio en el archivo de texto. Este valor suele ser
token
. - Contraseña: pegue el valor password de las credenciales de servicio en el archivo de texto.
Pulse Probar conexión.
Cuando la prueba sea satisfactoria, pulse Crear. Si la prueba no es satisfactoria, verifique la información que ha copiado y pegado del archivo de texto e inténtelo de nuevo. Si se le solicita que confirme la creación de la conexión sin establecer la ubicación y la soberanía, pulse Crear de nuevo.
Pulse Todos los activos para ver la nueva conexión.
' Comprueba tu progreso
La imagen siguiente muestra el separador Activos en el proyecto de ejemplo que muestra el nuevo activo de conexión Event Streams . Ahora está preparado para asociar el servicio de Data Replication con este proyecto.
Tarea 4: Asociar el servicio de Data Replication con el proyecto
' Para previsualizar esta tarea, vea el vídeo que comienza en 06:32.
Para utilizar el servicio Data Replication en el proyecto, debe asociar la instancia de servicio con el proyecto. Siga estos pasos para asociar el servicio Event Streams con el proyecto de integración de datos:
En el proyecto Integración de datos , pulse el separador Gestionar .
Pulse la página Servicios e integraciones .
Pulse Asociar servicio.
Marque el recuadro situado junto a la instancia de servicio de Data Replication .
Pulse Asociar.
Pulse Cancelar para volver a la página Servicios e integraciones .
' Comprueba tu progreso
La imagen siguiente muestra la página Servicios e integraciones con el servicio Data Replication listado. Ahora está preparado para configurar la réplica de datos.
Tarea 5: Configurar la réplica de datos
' Para previsualizar esta tarea, vea el vídeo que comienza en 06:53.
Ahora puede crear un activo de Data Replication para iniciar la réplica de datos continua entre el origen de Db2 on Cloud y el destino de Event Streams . Siga estos pasos para configurar la réplica de datos:
Pulse la pestaña Activos en el proyecto.
Pulse Nuevo activo > Replicar datos.
Para el Nombre, escriba
CreditScoreReplication
.Pulse Opciones de origen.
En la página Opciones de origen , seleccione Data Fabric Trial- Db2 on Cloud -Source en la lista de conexiones.
Pulse Seleccionar datos.
En la página Seleccionar datos , seleccione la tabla BANKING esquema > CREDIT_SCORE .
Pulse Opciones de destino.
En la página Opciones de destino , seleccione Corrientes de sucesos en la lista de conexiones.
En el campo Tema predeterminado , pegue el nombre de tema creado en Tarea 1,
golden-bank-mortgage
.Acepte el valor predeterminado para el resto de los campos y pulse Revisar.
Revise el resumen y pulse Crear.
' Comprueba tu progreso
La siguiente imagen muestra laReplicateCreditScoreData Pantalla con replicación detenida. Ahora está preparado para ejecutar la réplica de datos.
Tarea 6: Ejecutar réplica de datos
' Para previsualizar esta tarea, vea el vídeo que comienza en 07:54.
Después de crear el activo Data Replication , puede ejecutar la réplica de datos y ver información sobre el estado de la réplica. Siga estos pasos para ejecutar la réplica de datos:
En la pantalla CreditScoreReplication, haga clic en el icono Ejecutar ' para iniciar el proceso de replicación.
Si es la primera vez que ejecuta un activo de Data Replication , es posible que se le solicite que proporcione una clave de API. Los activos de réplica de datos utilizan su clave de API personal de IBM Cloud para ejecutar operaciones de réplica de forma segura sin interrupciones. Si desea utilizar una clave API específica, haga clic en el icono de configuración " .
- Si tiene una clave de API existente, pulse Utilizar clave de API existente, pegue la clave de API y pulse Guardar.
- Si no tiene una clave de API existente, pulse Generar nueva clave de APIy, a continuación, pulse Generar. Guarde la clave de API para utilizarla en el futuro y, a continuación, pulse Cerrar.
En la sección Registros de sucesos, haz clic en el icono Actualizar ' ' para ver los mensajes nuevos.
Después de unos minutos, se muestra el mensaje
Completed initial synchronization for table "BANKING"."CREDIT_SCORE"
en la sección Registros de sucesos .
A partir de este punto, cualquier cambio en el BANKING.CREDIT_SCORE de la instancia de Db2 on Cloud se detectará automáticamente y se replicará en el destino.
' Comprueba tu progreso
La siguiente imagen muestra laCreditScoreReplication pantalla con replicación en ejecución y mensajes en el registro de eventos. Ahora está preparado para supervisar la réplica observando el estado del activo de réplica, los sucesos y las métricas, y para verificar que los datos se están replicando.
Tarea 7: Verificar la réplica de datos
' Para previsualizar esta tarea, vea el vídeo que comienza en 09:03.
Puede utilizar el código Python para verificar que los datos de puntuación de crédito se han replicado en el concentrador de Event Streams de Golden Bank. El proyecto de ejemplo incluye un cuaderno Jupyter que contiene el código Python de ejemplo. Siga estos pasos para editar y ejecutar el código en el cuaderno:
Haga clic en Nombre del proyecto de integración de datos en la ruta de navegación para volver al proyecto.
Pulse la pestaña Activos.
Pulse Todos los activos.
Haga clic en el menú de desbordamiento ' al final de la fila del cuaderno de replicación de datos Monitor y seleccione Editar.
Ejecute la primera celda de código para instalar la biblioteca Kafka-python.
Edite la segunda celda utilizando la información que ha guardado en un archivo de texto de la Tarea 1.
topic: pegar el nombre del tema. Este valor es
golden-bank-mortgage
.bootstrap_servers: pegue el valor del servidor de rutina de carga desde el archivo de texto, que debería ser similar a este valor:
broker-5-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093, broker-0-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093, broker-2-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093, broker-1-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093, broker-3-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093, broker-4-pqny71x0b9vh7nwh.kafka.svc11.us-south.eventstreams.cloud.ibm.com:9093
sasl_plain_username: pegue el valor user de las credenciales de servicio en el archivo de texto. Este valor suele ser
token
.security_protocol: pegue el valor security.protocol del archivo de texto. Este valor suele ser
SASL_SSL
.sasl_mechanism: pegue el valor sasl.mechanism del archivo de texto. Este valor suele ser
PLAIN
.sasl_plain_password: pegue el valor password de las credenciales de servicio en el archivo de texto.
Después de completar todos los valores, ejecute el código en la segunda celda para proporcionar la información de conexión para la instancia de Event Streams .
Ejecute el código en la tercera celda para consumir registros del tema Event Streams .
Ejecute el código en la cuarta celda para imprimir los mensajes capturados en el objeto de consumidor.
Revise la salida que muestra el contenido de los mensajes entregados por la réplica en el tema Event Streams . Compárelo con el activo de datos CREDIT_SCORE que ha visualizado en la Tarea 2.
Haz clic en Archivo > Guardar para guardar el cuaderno Jupyter con tus credenciales almacenadas.
' Comprueba tu progreso
La imagen siguiente muestra el cuaderno Supervisar réplica de datos después de ejecutar el código correctamente.
Como ingeniero de datos de Golden Bank, puede configurar el acceso continuo a las puntuaciones de crédito más actualizadas de los solicitantes de préstamos configurando la réplica de datos entre la tabla CREDIT_SCORE de la base de datos de origen de Db2 on Cloud y un tema en Event Streams. Si hay cambios en el puntaje de crédito de un solicitante, entonces los aprobadores de hipotecas de Golden Bank tendrán acceso casi en tiempo real a esos cambios.
Limpieza (opcional)
Si desea volver a tomar las guías de aprendizaje en el caso de uso de integración de datos, suprima los artefactos siguientes.
Artefacto | Cómo suprimir |
---|---|
Instancias de servicio de Data Replication y Event Streams | 1. 1. En el Menú de Navegación ' , seleccione Servicios > Instancias de servicio. 2. Pulse el menú Acción situado junto al nombre de servicio y elija Suprimir. |
Proyecto de ejemplo de integración de datos | Suprimir un proyecto |
Próximos pasos
Pruebe otras guías de aprendizaje:
Regístrese para otro caso de uso de entramado de datos.
Más información
Tema padre: Guías de aprendizaje de casos de uso