Guía de aprendizaje de integración de datos: Integrar datos

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 02:40.

Empiece con un flujo de DataStage básico que se une a los solicitantes de hipotecas y a los conjuntos de datos de aplicaciones de hipotecas y, a continuación, genera el resultado en un archivo CSV en el proyecto. Siga estos pasos para ejecutar el flujo de DataStage :

1. Inicie el proyecto Integración de datos . Si no tiene el proyecto abierto, siga estos pasos:

   1. En el menú de navegación Cloud Pak for Data , seleccione Proyectos > Ver todos los proyectos.

   2. Abra el proyecto Integración de datos .

2. Pulse el separador Activos para ver todos los activos del proyecto.

3. Pulse Flujos > Flujos de DataStage.

   Sugerencia: Si no ve ningún flujo de DataStage , vuelva a ver las instancias de servicio para verificar que la instancia de DataStage se ha suministrado correctamente. Consulte Suministro de los servicios necesarios.

4. Pulse el flujo Integración de datos en la lista para abrirlo. Este flujo se une a las tablas Solicitantes de hipoteca y Aplicaciones de hipoteca que están almacenadas en Db2 Warehouse, filtra los datos a esos registros desde el estado de California y crea un archivo secuencial en formato CSV como salida.

5. Pulse el icono acercar y el icono alejar en la barra de herramientas para establecer la vista preferida del lienzo.

6. Efectúe una doble pulsación en el nodo MORTGAGE_APPLICATIONS_1 para ver los valores.

   1. Expanda la sección Propiedades.

   2. Desplácese hacia abajo y, a continuación, pulse Vista previa de datos. Este conjunto de datos incluye información que se captura en una aplicación de hipoteca.

   3. Pulse Cerrar.

7. Efectúe una doble pulsación en el nodo MORTGAGE_APPLICANTS_1 para ver los valores.

   1. Expanda la sección Propiedades.

   2. Desplácese hacia abajo y pulse Vista preliminar de los datos. Este conjunto de datos incluye información sobre los solicitantes de hipotecas que solicitaron un préstamo.

   3. Opcional: Visualice los datos.

      1. Pulse el panel Gráfico .

      2. En la lista Columnas a visualizar , seleccione STATE.

      3. Pulse Visualizar datos para ver un gráfico circular que muestra la distribución de los datos por estado.

      4. Pulse el icono Mapa de árbol para ver los mismos datos en un gráfico de mapa de árbol.

   4. Pulse Cerrar.

8. Efectúe una doble pulsación en el nodo Join_on_ID para ver los valores.

   1. Expanda la sección Propiedades.

   2. Tenga en cuenta que la clave de unión es la columna de ID.
      

   3. Pulse Cancelar para cerrar los valores.

9. Pulse el icono Registros en la barra de herramientas para que pueda ver el progreso del flujo.

10. Pulse Compilar y luego Ejecutar. De forma alternativa, puede pulsar Ejecutar , que compila y, a continuación, ejecuta el flujo de DataStage . La ejecución puede tardar aproximadamente un minuto en completarse.

11. Vea los registros. Puede utilizar el total de filas y filas/seg para cada paso del flujo para verificar visualmente que el filtro funciona según lo esperado.

12. Cuando la ejecución se complete correctamente, pulse Integración de datos en la pista de navegación para volver al proyecto.
    

13. En la pestaña Activos , pulse Datos > Activos de datos.

14. Abra el archivo MORTGAGE_INTEREST_RATES.CSV. Puede ver que este archivo contiene las columnas de los solicitantes de hipoteca y los conjuntos de datos de solicitudes de hipoteca.

Ahora que se ha unido al solicitante de hipoteca y a los datos de solicitud, está preparado para editar el flujo de DataStage para:

• Tarea 2: Especificar una columna clave para la etapa Join.
• Tarea 3: Añadir datos de puntuación de crédito de una base de datos PostgreSQL .
• Tarea 4: Añadir una etapa de unión para unir los datos de puntuación de crédito con el solicitante y los datos de solicitud.
• Tarea 5: Añadir una etapa Transformer para calcular la deuda total.
• Tarea 6: Añadir datos de tipo de interés de una base de datos MongoDB .
• Tarea 7: Añadir una etapa de búsqueda para buscar tasas de interés para los solicitantes en función de sus puntuaciones de crédito y los rangos de tasas de interés diarias de Golden Bank.

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 04:33.

La identificación de una columna clave indica a DataStage que la columna contiene valores exclusivos. El nodo Join_on_ID se une a los solicitantes de hipoteca y a los conjuntos de datos de aplicaciones de hipoteca utilizando la columna de ID para la clave de unión. La siguiente fase es unir el conjunto de datos resultante con los datos de puntuación de crédito. Más adelante, unirá los datos filtrados resultantes con el conjunto de datos de puntuación de crédito. La segunda unión utilizará la columna EMAIL_ADDRESS como clave de unión. En esta tarea, edite el flujo de DataStage para especificar la columna EMAIL_ADDRESS como columna clave para el conjunto de datos resultante cuando se une con los datos de puntuación de crédito.

La siguiente imagen animada proporciona una representación visual como alternativa a la descripción de los dos nodos de unión. Pulse la imagen para ver una imagen más grande.

Siga estos pasos para cambiar los valores del nodo Join:

1. Pulse Integración de datos en la ruta de navegación para volver al proyecto.
   

2. En el separador Activos , pulse Flujos > Flujos de DataStage.

3. Abra el flujo Integración de datos .

4. Efectúe una doble pulsación en el nodo Join_on_ID para editar los valores.

5. Pulse la pestaña Salida y expanda la sección Columnas para ver una lista de las columnas del conjunto de datos unido.

6. Pulse Editar.

7. Para el nombre de columna EMAIL_ADDRESS, seleccione Clave.

8. Pulse Aplicar y volver para volver a los valores del nodo de Join_on_ID.

9. Pulse Guardar para guardar los valores del nodo de Join_on_ID.

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 05:14.

Siga estos pasos para añadir los datos de puntuación de crédito almacenados en una base de datos PostgreSQL al flujo de DataStage :

1. En la paleta de nodos, expanda la sección Conectores.

2. Arrastre el conector Navegador de activos al lienzo junto al nodo MORTGAGE_APPLICANTS_1 .

3. Localice el activo seleccionando Conexión > Data Fabric Trial- Databases for PostgreSQL > BANKING > CREDIT_SCORE.

   Nota: Pulse el nombre de conexión o esquema en lugar del recuadro de selección para expandir la conexión y el esquema.

   

4. Pulse el icono Vista previa para obtener una vista previa de los datos de puntuación de crédito para cada candidato.

5. Pulse Añadir.

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 05:46.

Siga estos pasos para añadir otra etapa Join para unirse a la solicitud de hipoteca filtrada y el solicitante de hipoteca se unió a los datos con los datos de puntuación de crédito en el flujo de DataStage :

1. En la paleta de nodos, expanda la sección Etapas.

2. Arrastre la etapa Unión al lienzo y suelte el nodo en la línea de enlace entre los nodos Filter_State_Code y Sequential_file_1 .

3. Pase el ratón por encima del conector CREDIT_SCORE_1 para ver la flecha. Conecte la flecha a la etapa Unión.

4. Efectúe una doble pulsación en el nodo CREDIT_SCORE_1 para editar los valores.

   1. Pulse la pestaña Salida y expanda la sección Columnas para ver una lista de las columnas del conjunto de datos unido.

   2. Pulse Editar.

   3. Para los nombres de columna EMAIL_ADDRESS y CREDIT_SCORE, seleccione Clave.

   4. Pulse Aplicar y volver para volver a los valores del nodo de CREDIT_SCORE_1.

   5. Pulse Guardar para guardar los valores del nodo de CREDIT_SCORE_1.

5. Efectúe una doble pulsación en el nodo Join_1 para editar los valores.

   1. Expanda la sección Propiedades.

   2. Pulse Añadir clave.

      1. Vuelva a pulsar Añadir clave.

      2. Seleccione EMAIL_ADDRESS en la lista de claves posibles.

      3. Haga clic en Aplicar.

   3. Pulse Aplicar y volver para volver a los valores del nodo de Join_1.

   4. Cambie el nombre de nodo de Join_1 por Join_on_email.

   5. Pulse Guardar para guardar los valores del nodo de Join_1.

Para obtener una vista preliminar de esta tarea, vea el vídeo que empieza en 07:00.

Siga estos pasos para añadir una etapa Transformer que cree una nueva columna sumando las columnas LOAN_AMOUNT y CREDITCARD_DEBT:

1. En la sección Etapas , arrastre la etapa Transformer al lienzo y suelte el nodo en la línea de enlace entre los nodos Join_on_email y Sequential_file_1 .

2. Efectúe una doble pulsación en el nodo Transformador para editar los valores.

3. Pulse la pestaña Salida.

   1. Pulse Añadir columna.

   2. Desplácese hacia abajo en la lista de columnas para ver la nueva columna.

   3. Nombre de la columna TOTAL_DEBT.

   4. Pulse el icono Editar en la columna Derivación de la fila.

   5. Pulse el icono Calculadora en la columna Derivación para abrir el generador de expresiones.

   6. Busque LOAN_AMOUNT y efectúe una doble pulsación en el nombre de columna para añadirlo a la expresión. Tenga en cuenta que el número de enlace se añade al nombre de columna.

   7. Escriba un signo más +.

   8. Busque CREDITCARD_DEBTy, a continuación, efectúe una doble pulsación en el nombre de columna para añadirlo a la expresión. Tenga en cuenta que el número de enlace se añade al nombre de columna.

   9. Verifique que la expresión final es Link_5.LOAN_AMOUNT + Link_5.CREDITCARD_DEBT.

      Nota: El número de enlace puede ser diferente.

   10. Pulse Aplicar y volver para volver a la página Transformador.

   11. Para el nombre de columna CREDIT_SCORE , seleccione Clave.

4. Pulse Guardar y volver para volver al lienzo.

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 07:49.

Siga estos pasos para incluir los tipos de interés en el flujo añadiendo un conector de activo de datos a una base de datos MongoDB :

1. En la paleta de nodos, expanda la sección Conectores.

2. Arrastre el conector Navegador de activos al lienzo junto al nodo CREDIT_SCORE_1.

3. Localice el activo seleccionando Conexión > Data Fabric Trial-Mongo DB > DOCUMENT > DS_INTEREST_RATES.

4. Pulse el icono Vista previa para obtener una vista previa de los tipos de interés para cada rango de puntuación de crédito.
   
   Puede utilizar los valores de las columnas STARTING_LIMIT y ENDING_LIMIT para buscar el tipo de interés adecuado en función de la puntuación de crédito del solicitante. La columna ID no es necesaria, por lo que suprimirá esa columna en el paso siguiente.

5. Pulse Añadir.

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 08:35.

Basándose en la puntuación de crédito de cada solicitante, desea buscar la tasa de interés apropiada. Siga estos pasos para añadir una etapa de búsqueda y especificar el rango para los límites de puntuación de crédito inicial y final para cada tipo de interés:

1. En la sección Etapas , arrastre la etapa Búsqueda al lienzo y suelte el nodo en la línea de enlace entre los nodos Transformer_1 y Sequential_file_1 .

2. Conecte el conector DS_INTEREST_RATES_1 a la etapa Lookup_1.

3. Efectúe una doble pulsación en el nodo DS_INTEREST_RATES_1 para editar los valores.

4. Pulse la pestaña Salida.

   1. Expanda la sección Columnas y pulse Editar.

   2. Seleccione la columna _ID.

   3. Pulse el icono Suprimir para suprimir la columna _ID .

   4. Pulse Aplicar y volver para volver a los valores del nodo de DS_INTEREST_RATES_1.

   5. Pulse Guardar para guardar los cambios en el nodo DS_INTEREST_RATES_1.

5. Efectúe una doble pulsación en el nodo Lookup_1 para editar los valores.

6. Expanda la sección Propiedades.

   1. Para el campo Aplicar rango a columnas, seleccione CREDIT_SCORE. Se muestran los campos Enlaces de referencia, Operadory Columna de rango .

   2. Para Enlaces de referencia, seleccione Link_9.

      Nota: El número de enlace puede ser diferente.

   3. Para el primer Operador, seleccione < =.

   4. Para la primera Columna de rango, seleccione ENDING_LIMIT.

   5. Para el segundo Operador, seleccione > =.

   6. Para la segunda Columna de rango, seleccione STARTING_LIMIT.

7. Pulse la pestaña Salida.

   1. Expanda la sección Columnas y pulse Editar.

   2. Seleccione las columnas STARTING_LIMIT y ENDING_LIMIT .

   3. Pulse el icono Suprimir para suprimir estas columnas STARTING_LIMIT y ENDING_LIMIT innecesarias.

   4. Pulse Aplicar y volver para volver a los valores del nodo de Lookup_1.

   5. Pulse Guardar para guardar los cambios en el nodo Lookup_1.

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 09:56.

Siga estos pasos para editar el nodo de archivo secuencial para crear un archivo de salida final como un activo de datos en el proyecto y, a continuación, compile y ejecute el flujo de DataStage :

1. Efectúe una doble pulsación en el nodo Sequential_file_1 para editar los valores.

2. Pulse la pestaña Salida.

3. Expanda la sección Propiedades.

4. Para el Archivo de destino, copie y pegue MORTGAGE_APPLICANTS_INTEREST_RATES.CSV para el nombre de archivo.

5. Seleccione Crear activo de datos.

6. En el campo La primera línea son los nombres de columna , seleccione True.

7. Pulse Guardar.

8. Pulse Ejecutar , que compila y, a continuación, ejecuta el flujo de DataStage . El trabajo tarda aproximadamente 1 minuto en completarse.

9. Pulse Registros en la barra de herramientas para ver el progreso del flujo. Es normal ver avisos durante la ejecución y, a continuación, ver que el flujo se ha ejecutado correctamente.

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 10:28.

Otros ingenieros de datos y analistas de negocios en Golden Bank necesitan acceso a las tasas de interés hipotecario. Con el plan Lite IBM Knowledge Catalog , puede crear dos catálogos. Si ya tiene un catálogo, omita este paso. De lo contrario, realice los pasos siguientes para crear un catálogo en el que pueda publicar el conjunto de datos de tipos de interés.

1. En el menú de navegación Cloud Pak for Data , elija Catálogos > Ver todos los catálogos.

2. Si ve un Catálogo de aprobación de hipotecas en la página Catálogos , vaya a Tarea 10: Ver la salida y publicar en un catálogo. De lo contrario, siga estos pasos para crear un catálogo nuevo:

3. Pulse Crear catálogo.

4. Para el Nombre, copie y pegue el nombre de catálogo exactamente como se muestra sin espacios iniciales ni finales:

   Mortgage Approval Catalog
   

5. Seleccione Imponer reglas de protección de datos, confirme la selección y acepte los valores predeterminados para los otros campos.

6. Pulse Crear.

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 10:57.

Siga estos pasos para ver el archivo de salida en el proyecto y, a continuación, publíquelo en un catálogo:

1. En el menú de navegación Cloud Pak for Data , seleccione Proyectos > Ver todos los proyectos.

2. Abra el proyecto Integración de datos .

3. En la pestaña Activos , pulse Datos > Activos de datos.

4. Abra el archivo MORTGAGE_APPLICANTS_INTEREST_RATES.CSV.

5. Desplácese para ver todas las columnas del conjunto de datos integrado con tipos de interés al final de cada entrada de datos.

6. Pulse Integración de datos en la ruta de navegación para volver al proyecto.

7. En la pestaña Activos , pulse el menú Desbordamiento al final de la fila para MORTGAGE_APPLICANTS_INTEREST_RATES.CSV y elija Publicar en catálogo.

   1. Seleccione el Catálogo de aprobación de hipoteca (o su nombre de catálogo) en la lista y pulse Siguiente.

   2. Seleccione la opción Ir al catálogo después de publicarloy pulse Siguiente.

   3. Revise los activos y pulse Publicar.

8. En el catálogo, busque Mortgage.

9. Abra el archivo MORTGAGE_APPLICANTS_INTEREST_RATES.CSV.

10. Pulse el separador Activo para ver los datos.