0 / 0
Volver a la versión inglesa de la documentación
Guía de aprendizaje de integración de datos: Orquestar un conducto de IA con integración de datos
Última actualización: 28 nov 2024
Guía de aprendizaje de integración de datos: Orquestar un conducto de IA con integración de datos

Siga esta guía de aprendizaje para crear un conducto de extremo a extremo para entregar datos concisos, preprocesados y actualizados almacenados en un origen de datos externo con la prueba de entramado de datos. Su objetivo es utilizar los conductos de orquestación para orquestar ese flujo de trabajo global para generar resultados automatizados, coherentes y repetibles. El oleoducto utilizaDataStage yAutoAI, que automatiza varios aspectos del proceso de construcción de un modelo, como la ingeniería de características y la optimización de hiperparámetros. AutoAI clasifica los algoritmos candidatos y, a continuación, selecciona el mejor modelo.

Inicio rápido: Si todavía no ha creado el proyecto de ejemplo para esta guía de aprendizaje, acceda a Orquestar un proyecto de ejemplo de interconexión de IA en el concentrador de recursos.

La historia de la guía de aprendizaje es que GoldenBank desea ampliar su negocio ofreciendo renovaciones de hipotecas de tasa baja especiales para aplicaciones en línea. Las aplicaciones en línea amplían el acceso a clientes para el banco y reducen los costes de proceso de las solicitudes del banco. El equipo utilizará Orchestration Pipelines para crear un conducto de datos que proporcione datos actualizados sobre todos los solicitantes de hipoteca, que los prestamistas pueden utilizar para la toma de decisiones. Los datos se almacenan en Db2 Warehouse. Debe preparar los datos porque son potencialmente incompletos, obsoletos y pueden estar ofuscados o totalmente inaccesibles debido a las políticas de privacidad y soberanía de los datos. A continuación, el equipo necesita crear un modelo de aprobación de hipotecas a partir de datos de confianza y, a continuación, desplegar y probar el modelo en un entorno de preproducción.

La siguiente imagen animada proporciona una vista previa rápida de lo que logrará al final de este tutorial. Editará y ejecutará un conducto para crear y desplegar un modelo de aprendizaje automático. Pulse la imagen para ver una imagen más grande.

Imagen animada

Vista previa de la guía de aprendizaje

En esta guía de aprendizaje, realizará estas tareas:

Ver vídeo Vea este vídeo para obtener una vista preliminar de los pasos de esta guía de aprendizaje. Puede haber pequeñas diferencias en la interfaz de usuario que se muestra en el vídeo. El vídeo está pensado para ser un compañero del tutorial escrito.

Este vídeo proporciona un método visual para aprender los conceptos y tareas de esta documentación.





Sugerencias para completar esta guía de aprendizaje
Estas son algunas sugerencias para completar correctamente esta guía de aprendizaje.

Utilizar la imagen en imagen de vídeo

Sugerencia: Inicie el vídeo y, a continuación, a medida que se desplaza por el tutorial, el vídeo pasa al modo de imagen en imagen. Cierre la tabla de contenido de vídeo para obtener la mejor experiencia con la imagen en imagen. Puede utilizar el modo de imagen en imagen para poder seguir el vídeo mientras completa las tareas de este tutorial. Pulse las indicaciones de fecha y hora para cada tarea a seguir.

La siguiente imagen animada muestra cómo utilizar las características de imagen en imagen y tabla de contenido de vídeo:

Cómo utilizar la imagen en la imagen y los capítulos

Obtener ayuda en la comunidad

Si necesita ayuda con este tutorial, puede hacer una pregunta o encontrar una respuesta en el foro de debate de la Comunidad deCloud Pak for Data.

Configurar las ventanas del navegador

Para obtener la experiencia óptima al completar esta guía de aprendizaje, abra Cloud Pak for Data en una ventana de navegador y mantenga abierta esta página de la guía de aprendizaje en otra ventana de navegador para conmutar fácilmente entre las dos aplicaciones. Considere la posibilidad de organizar las dos ventanas del navegador una al lado de la otra para que sea más fácil de seguir.

Guía de aprendizaje en paralelo e interfaz de usuario

Sugerencia: Si encuentra una visita guiada al completar esta guía de aprendizaje en la interfaz de usuario, pulse Quizás más tarde.



Configurar los requisitos previos

Registro en Cloud Pak for Data as a Service

Debe registrarse en Cloud Pak for Data as a Service y suministrar los servicios necesarios para el caso de uso de integración de datos.

  • Si tiene una cuenta de Cloud Pak for Data as a Service existente, puede empezar con esta guía de aprendizaje. Si tiene una cuenta de plan Lite, sólo un usuario por cuenta puede ejecutar esta guía de aprendizaje.
  • Si todavía no tiene una cuenta de Cloud Pak for Data as a Service , regístrese para una prueba de entramado de datos.

Icono Vídeo ' Vea el siguiente vídeo para aprender sobre el tejido de datos en Cloud Pak for Data.

Este vídeo proporciona un método visual para aprender los conceptos y tareas de esta documentación.

Verificar los servicios suministrados necesarios

vídeo tutorial de vista previa ' Para previsualizar esta tarea, vea el vídeo que comienza en 00:37.

Siga estos pasos para verificar o suministrar los servicios necesarios:

  1. En el menú de navegación ' Menú de navegación, seleccione Servicios > Instancias de servicio.

  2. Utilice la lista desplegable Producto para determinar si existe una instancia del servicio watsonx.ai Studio.

  3. Si necesitas crear una instancia de servicio de watsonx.ai Studio, haz clic en Añadir servicio.

    1. Selecciona watsonx.ai Studio.

    2. Seleccione el plan Lite.

    3. Pulse Crear.

  4. Espera mientras se aprovisiona el servicio watsonx.ai Studio, lo que puede tardar unos minutos en completarse.

  5. Repita estos pasos para verificar o suministrar los siguientes servicios adicionales:

    • tiempo de ejecución de watsonx.ai
    • DataStage
    • Cloud Object Storage

Icono de punto de comprobación ' Comprueba tu progreso

La imagen siguiente muestra las instancias de servicio suministradas:

Servicio de suministro

Crear el proyecto de ejemplo

vídeo tutorial de vista previa Para obtener una vista preliminar de esta tarea, vea el vídeo que empieza en 01:14.

Si ya tiene el proyecto de ejemplo para esta guía de aprendizaje, omita esta tarea. De lo contrario, siga estos pasos:

  1. Acceda al proyecto de ejemplo Orchestrate an AI pipeline en el Resource hub.

  2. Pulse Crear proyecto.

  3. Si se le solicita que asocie el proyecto a una instancia de Cloud Object Storage, seleccione una instancia de Cloud Object Storage de la lista.

  4. Pulse Crear.

  5. Espere a que finalice la importación del proyecto y, a continuación, pulse Ver proyecto nuevo para verificar que el proyecto y los activos se han creado correctamente.

  6. Pulse el separador Activos para ver la conexión, los flujos de DataStage y la definición de datos, y la interconexión.

Nota: Es posible que vea una visita guiada que muestra las guías de aprendizaje que se incluyen con este caso de uso. Los enlaces de la visita guiada abrirán estas instrucciones del tutorial.
Sugerencia: Si no ve ningún flujo de DataStage , vuelva a ver las instancias de servicio para verificar que la instancia de DataStage se ha suministrado correctamente. Consulte Suministro de los servicios necesarios.

Icono de punto de comprobación ' Comprueba tu progreso

La imagen siguiente muestra el separador Activos en el proyecto de ejemplo. Ahora está preparado para iniciar la guía de aprendizaje.

La imagen siguiente muestra el separador Activos en el proyecto de ejemplo.

Asociar el servicio watsonx.ai Runtime con el proyecto de ejemplo

vídeo tutorial de vista previa ' Para previsualizar esta tarea, vea el vídeo que comienza en 02:04.

Utilizará ' watsonx.ai Runtime para crear y desplegar el modelo, así que siga estos pasos para asociar su instancia de servicio ' watsonx.ai Runtime con el proyecto de ejemplo.

  1. En el proyecto Orquestar un conducto de IA , pulse el separador Gestionar.

  2. Pulse la página Servicios e integraciones .

  3. Pulse Asociar servicio.

  4. Marque la casilla junto a su instancia de servicio watsonx.ai Runtime.

  5. Pulse Asociar.

  6. Pulse Cancelar para volver a la página Servicios e integraciones .

Icono de punto de comprobación ' Comprueba tu progreso

La siguiente imagen muestra la página Servicios e integraciones con el servicio watsonx.ai Runtime en la lista. Ahora está preparado para crear el proyecto de ejemplo.

Asociar servicio con proyecto




Tarea 1: Ver los activos en el proyecto de ejemplo

vídeo tutorial de vista previa ' Para previsualizar esta tarea, vea el vídeo que comienza en 02:26.

El proyecto de ejemplo incluye varios activos que incluyen una conexión, una definición de datos, dos flujos de DataStage y un conducto. Siga estos pasos para ver estos activos:

  1. Pulse el separador Activos en el proyecto de conducto de Orchestrate an AI y, a continuación, visualice Todos los activos.

  2. Todos los activos de datos que se utilizan en los flujos de DataStage y la interconexión se almacenan en una conexión de Data Fabric Trial- Db2 Warehouse en el esquema AI_MORTGAGE . La imagen siguiente muestra los activos de dicha conexión:

    Tablas de Db2 Warehouse

  3. El flujo Integrar datos de hipoteca DataStage integra datos sobre cada solicitante de hipoteca, incluida la información de identificación personal, con sus detalles de solicitud, puntuaciones de crédito, estado como comprador comercial y, finalmente, los precios de la vivienda elegida de cada solicitante y, a continuación, crea un archivo secuencial con el nombre Mortgage_Data.csv en el proyecto que contiene los datos unidos. La imagen siguiente muestra el flujo Integrar datos de hipoteca DataStage .

    Sugerencia: Si no ve ningún flujo de DataStage , vuelva a ver las instancias de servicio para verificar que la instancia de DataStage se ha suministrado correctamente. Consulte Suministro de los servicios necesarios.

    Integrar flujo de datos de hipoteca

  4. El flujo Integrar aprobaciones de hipotecas DataStage utiliza la salida del primer flujo de DataStage (Mortgage_Data.csv) y enriquece aún más los datos integrando información sobre cada aprobación de aplicación de hipoteca. El conjunto de datos resultante se guarda en el proyecto con el nombre Mortgage_Data_with_Approvals.csv. La imagen siguiente muestra el flujo Integrar aprobaciones de hipoteca DataStage :

    Integrar flujo de aprobaciones de hipotecas

  5. La definición de datos Definition_Mortgage_Data para el activo de datos Mortgage_Data_with_Approvals.csv se crea mediante el flujo Integrar aprobaciones de hipotecas DataStage . La imagen siguiente muestra la definición de datos:

    Datos de hipoteca de definición

Icono de punto de comprobación ' Comprueba tu progreso

La imagen siguiente muestra todos los activos del proyecto de ejemplo. Ahora está preparado para explorar el conducto en el proyecto de ejemplo.

La imagen siguiente muestra todos los activos del proyecto de ejemplo.




Tarea 2: Explorar un conducto existente

vídeo tutorial de vista previa Para obtener una vista preliminar de esta tarea, vea el vídeo que empieza en 04:00.

El proyecto de ejemplo incluye un conducto de orquestación, que automatiza las tareas siguientes:

  • Ejecute dos trabajos de DataStage existentes.

  • Cree un experimento de AutoAI .

  • Ejecute el experimento AutoAI y guarde el modelo de mejor rendimiento que utiliza el archivo de salida resultante del trabajo DataStage como datos de entrenamiento.

  • Cree un espacio de despliegue.

  • Promocione el modelo guardado al espacio de despliegue.

Siga estos pasos para explorar el conducto:

  1. En el separador Activos del proyecto de conducto de Orchestrate an AI, consulte Todos los activos.

  2. Pulse Conducto de aprobación de hipoteca para abrir el conducto.

  3. En la sección inicial de la interconexión, dos trabajos de DataStage (Integrar datos de hipoteca e Integrar aprobaciones de hipoteca) se ejecutan en secuencia para combinar diversas tablas de la conexión de Db2 Warehouse on Cloud en un conjunto de datos etiquetado cohesivo que se utiliza como datos de entrenamiento para el experimento de AutoAI .

  4. Efectúe una doble pulsación en el nodo Comprobar estado para ver la condición. Esta condición es un punto de decisión en la interconexión para confirmar la finalización del primer trabajo de DataStage con un valor de Completado o Completado con avisos. Pulse Cancelar para volver a la interconexión.

  5. Efectúe una doble pulsación en el nodo Crear experimento de AutoAI para ver los valores. Este nodo crea un experimento de AutoAI con los valores.

    1. Revise los valores para los valores siguientes:

      • Nombre del experimento de AutoAI

      • Ámbito

      • Tipo de predicción

      • Columna de predicción

      • Clase positiva

      • Índice de división de datos de entrenamiento

      • Algoritmos a incluir

      • Algoritmos a utilizar

      • Métrica de optimización

    2. Pulse Cancelar para cerrar los valores.

  6. Efectúe una doble pulsación en el nodo Ejecutar experimento de AutoAI para ver los valores. Este nodo ejecuta el experimento AutoAI que se crea a partir del nodo Crear experimento AutoAI que utiliza la salida del trabajo Integrar aprobación de hipoteca DataStage como datos de entrenamiento.

    1. Revise los valores para los valores siguientes:

      • Experimento AutoAI

      • Activos de datos de entrenamiento

      • Prefijo del nombre de modelo

    2. Pulse Cancelar para cerrar los valores.

  7. Entre los nodos Ejecutar experimento de AutoAI y Crear espacio de despliegue , efectúe una doble pulsación en ¿Desea desplegar el modelo? para ver la condición. El valor de True para esta condición es un punto de decisión en la interconexión para continuar creando el espacio de despliegue. Pulse Cancelar para volver a la interconexión.

  8. Efectúe una doble pulsación en el nodo Crear espacio de despliegue para ver los valores. Este nodo crea un nuevo espacio de despliegue con el nombre especificado, y requiere la entrada de sus servicios Cloud Object Storage y watsonx.ai Runtime.

    1. Revise el valor de Nombre de espacio nuevo .

    2. Para el campo Nuevo CRN de instancia de COS , seleccione la instancia de Cloud Object Storage en la lista.

    3. En el campo New space WML Instance CRN, seleccione su instancia watsonx.ai Runtime de la lista.

    4. Pulse Guardar.

  9. Efectúe una doble pulsación en el nodo Promocionar modelo a espacio de despliegue para ver los valores. Este nodo promociona el mejor modelo del nodo Ejecutar experimento de AutoAI al espacio de despliegue creado desde el nodo Crear espacio de despliegue .

    1. Revise los valores para los valores siguientes:

      • Activos de origen

      • Destino

    2. Pulse Cancelar para cerrar los valores.

Icono de punto de comprobación ' Comprueba tu progreso

La imagen siguiente muestra el conducto inicial. Ahora está preparado para editar la interconexión para añadir un nodo.

Conducto inicial




Tarea 3: Añadir un nodo a la interconexión

vídeo tutorial de vista previa ' Para previsualizar esta tarea, vea el vídeo que comienza en 06:23.

La interconexión crea el modelo, crea un espacio de despliegue y, a continuación, lo promociona a un espacio de despliegue. Debe añadir un nodo para crear un despliegue en línea. Siga estos pasos para editar el conducto para automatizar la creación de un despliegue en línea:

  1. Añada el nodo Crear despliegue en línea al lienzo:

    1. Expanda la sección Crear en la paleta de nodos.

    2. Arrastre el nodo Crear despliegue en línea al lienzo y suelte el nodo después del nodo Promocionar modelo a espacio de despliegue .

  2. Pase el cursor por encima del nodo Promocionar modelo a espacio de despliegue para ver la flecha. Conecte la flecha al nodo Crear despliegue en línea .

    Nota: Los nombres de nodo en la interconexión pueden diferir de la siguiente imagen animada.

    Nodos de conexión de interconexión

  3. Conecte el comentario Crear despliegue en línea para modelo promocionado al nodo Crear despliegue en línea conectando el círculo del recuadro de comentario al nodo.

    Nota: Los nombres de nodo en la interconexión pueden diferir de la siguiente imagen animada.

    Comentario de interconexión

  4. Efectúe una doble pulsación en el nodo Crear despliegue en línea para ver los valores.

  5. Cambie el nombre de nodo a Create Online Deployment.

  6. Junto a Activo ML, pulse Seleccionar de otro nodo en el menú.

    Seleccionar de otro activo ML de nodo

  7. Seleccione el nodo Promocionar modelo a espacio de despliegue en la lista. El ID de nodo winning_model está seleccionado.

  8. Para el Nuevo nombre de despliegue, escriba mortgage approval model deployment.

  9. En Modalidad de creación, seleccione Sobrescribir.

  10. Pulse Guardar para guardar los valores del nodo Crear despliegue en línea .

Icono de punto de comprobación ' Comprueba tu progreso

La imagen siguiente muestra la interconexión completada. Ahora está preparado para ejecutar el conducto.

Conducto completado




Tarea 4: Ejecutar el conducto

vídeo tutorial de vista previa ' Para previsualizar esta tarea, vea el vídeo que comienza en 07:38.

Ahora que la interconexión se ha completado, siga estos pasos para ejecutar la interconexión:

  1. En la barra de herramientas, pulse Ejecutar conducto > Ejecutar prueba.

  2. En la página Definir parámetros de interconexión , seleccione True para el despliegue.

    • Si se establece en True, la interconexión verifica el modelo desplegado y puntúa el modelo.

    • Si se establece en False, la interconexión verifica que el modelo se ha creado en el proyecto mediante el experimento AutoAI y revisa la información del modelo y las métricas de entrenamiento.

  3. Si esta es la primera vez que ejecuta un conducto, se le solicitará que proporcione una clave de API. Los activos de conducto utilizan su clave de API personal de IBM Cloud para ejecutar operaciones de forma segura sin interrupciones.

    • Si tiene una clave de API existente, pulse Utilizar clave de API existente, pegue la clave de API y pulse Guardar.

    • Si no tiene una clave de API existente, pulse Generar nueva clave de API, proporcione un nombre y pulse Guardar. Copie la clave de API y, a continuación, guarde la clave de API para utilizarla en el futuro. Cuando haya terminado, pulse Cerrar.

  4. Pulse Ejecutar para iniciar la ejecución del conducto.

  5. Desplácese por los registros consolidados mientras se ejecuta el conducto. La ejecución de prueba puede tardar hasta 10 minutos en completarse.

  6. A medida que se completa cada operación, seleccione el nodo para dicha operación en el lienzo.

  7. En la pestaña Inspector de nodo , vea los detalles de la operación.

  8. Pulse la pestaña Salida de nodo para ver un resumen de la salida para cada operación de nodo.

Icono de punto de comprobación ' Comprueba tu progreso

La imagen siguiente muestra el conducto después de completar la ejecución de prueba. Ahora está preparado para revisar los activos que ha creado el conducto.

Ejecución completada de conducto




Tarea 5: Ver los activos, el modelo desplegado y el despliegue en línea

vídeo tutorial de vista previa ' Para previsualizar esta tarea, vea el vídeo a partir del minuto 09:48.

El conducto ha creado varios activos. Siga estos pasos para ver los activos:

  1. Pulse el nombre de proyecto Orquestar un conducto de IA en la pista de navegación para volver al proyecto.

    Ruta de navegación

  2. En la ficha Activos , vea Todos los activos.

  3. Ver los activos de datos.

    1. Pulse el activo de datos Mortgage_Data.csv . El trabajo de DataStage ha creado este activo.

    2. Pulse el nombre del proyecto en la ruta de navegación para volver a la pestaña Activos .

    3. Pulse el activo de datos Mortgage_Data_with_Approvals.csv . El trabajo de DataStage ha creado este activo.

    4. Pulse el nombre del proyecto en la ruta de navegación para volver a la pestaña Activos .

  4. Ver el modelo.

    1. Pulse el activo de modelo de aprendizaje automático que empieza por hipotecage_approval_best_model. El experimento AutoAI ha generado varios candidatos de modelo y lo ha elegido como el mejor modelo.

    2. Desplácese por la información del modelo.

    3. Pulse el nombre del proyecto en la ruta de navegación para volver a la pestaña Activos .

  5. Pulse el separador Trabajos en el proyecto para ver información sobre los dos trabajos de DataStage y una ejecución de trabajo de conducto.

  6. En el menú de navegación ' Menú de navegación, seleccione Despliegues.

  7. Pulse la pestaña Espacios .

  8. Pulse el espacio de despliegue Aprobación de hipoteca .

  9. Pulse la pestaña Activos y consulte el modelo desplegado que empieza por hipotecage_approval_best_model.

  10. Pulse la pestaña Despliegues.

  11. Pulse Despliegue del modelo de aprobación de hipotecas para ver el despliegue.

    1. Vea la información en el separador Referencia de API .

    2. Pulse el separador Probar.

    3. Pulse la pestaña Entrada JSON y sustituya el texto de ejemplo por el siguiente texto JSON.

      {
         "input_data": [
             {
                     "fields": [
                             "ID",
                             "NAME",
                             "STREET_ADDRESS",
                             "CITY",
                             "STATE",
                             "STATE_CODE",
                             "ZIP_CODE",
                             "EMAIL_ADDRESS",
                             "PHONE_NUMBER",
                             "GENDER",
                             "SOCIAL_SECURITY_NUMBER",
                             "EDUCATION",
                             "EMPLOYMENT_STATUS",
                             "MARITAL_STATUS",
                             "INCOME",
                             "APPLIEDONLINE",
                             "RESIDENCE",
                             "YRS_AT_CURRENT_ADDRESS",
                             "YRS_WITH_CURRENT_EMPLOYER",
                             "NUMBER_OF_CARDS",
                             "CREDITCARD_DEBT",
                             "LOANS",
                             "LOAN_AMOUNT",
                             "CREDIT_SCORE",
                             "CRM_ID",
                             "COMMERCIAL_CLIENT",
                             "COMM_FRAUD_INV",
                             "FORM_ID",
                             "PROPERTY_CITY",
                             "PROPERTY_STATE",
                             "PROPERTY_VALUE",
                             "AVG_PRICE"
                     ],
                     "values": [
                             [
                                     null,
                                     null,
                                     null,
                                     null,
                                     null,
                                     null,
                                     null,
                                     null,
                                     null,
                                     null,
                                     null,
                                     "Bachelor",
                                     "Employed",
                                     null,
                                     144306,
                                     null,
                                     "Owner Occupier",
                                     15,
                                     19,
                                     2,
                                     7995,
                                     1,
                                     1483220,
                                     437,
                                     null,
                                     false,
                                     false,
                                     null,
                                     null,
                                     null,
                                     111563
                             ],
                             [
                                     null,
                                     null,
                                     null,
                                     null,
                                     null,
                                     null,
                                     null,
                                     null,
                                     null,
                                     null,
                                     null,
                                     "High School",
                                     "Employed",
                                     null,
                                     45283,
                                     null,
                                     "Private Renting",
                                     11,
                                     13,
                                     1,
                                     1232,
                                     1,
                                     7638,
                                     706,
                                     null,
                                     false,
                                     false,
                                     null,
                                     null,
                                     null,
                                     547262
                             ]
                     ]
             }
         ]
      }
      
    4. Pulse Pronosticar. Los resultados muestran que el primer solicitante no sería aprobado y el segundo solicitante sería aprobado.

Icono de punto de comprobación ' Comprueba tu progreso

La imagen siguiente muestra los resultados de la prueba.

Predicciones de resultados de prueba



El equipo de Golden Bank utilizó Orchestration Pipelines para crear un conducto de datos que entrega datos actualizados sobre todos los solicitantes de hipotecas y un modelo de aprendizaje automático que los prestamistas pueden utilizar para la toma de decisiones.


Limpieza (opcional)

Si desea retomar esta guía de aprendizaje, suprima los artefactos siguientes.

Artefacto Cómo suprimir
Despliegue de modelo de aprobación de hipoteca en el espacio de despliegue de aprobación de hipoteca Suprima un despliegue
Espacio de despliegue de aprobación de hipoteca Suprimir un espacio de despliegue
Orquestar un proyecto de ejemplo de conducto de IA Suprimir un proyecto

Próximos pasos

Más información

Tema padre: Guías de aprendizaje de casos de uso

Búsqueda y respuesta de IA generativa
Estas respuestas las genera un modelo de lenguaje grande en watsonx.ai que se basa en el contenido de la documentación del producto. Más información