Guía de aprendizaje de Data Science y MLOps: Orquesta una interconexión de IA con supervisión de modelos

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 02:37.

El proyecto de ejemplo incluye varios activos que incluyen una conexión, una definición de datos, un flujo de Data Refinery y un conducto. Siga estos pasos para ver estos activos:

1. Pulse la pestaña Activos en el proyecto Ciencia de datos y MLOps y, a continuación, visualice Todos los activos.

2. Ver la lista de activos de datos que se utilizan en el flujo de Data Refinery y el conducto. Estos activos se almacenan en una conexión de Data Fabric Trial- Db2 Warehouse en el esquema AI_MORTGAGE . Pulse Importar activosy, a continuación, vaya a Data Fabric Trial- Db2 Warehouse > AI_MORTGAGE. La imagen siguiente muestra los activos de dicha conexión:

   

3. El flujo Hipotecage_Data_Approvals_flow Data Refinery integra datos sobre cada solicitante de hipoteca. Los datos integrados incluyen información de identificación personal, con sus detalles de solicitud, puntajes de crédito, estatus como comprador comercial, y finalmente los precios de la casa elegida de cada solicitante. A continuación, el flujo crea un archivo secuencial con el nombre Mortgage_Data_with_Approvals_DS.csv en el proyecto que contiene los datos unidos. La imagen siguiente muestra el flujo Hipotecage_Data_Approvals_flow Data Refinery :

   

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 03:25.

El proyecto de ejemplo incluye un conducto de orquestación, que automatiza las tareas siguientes:

• Ejecute un trabajo Data Refinery existente.

• Cree un experimento de AutoAI .

• Ejecute el experimento AutoAI y guarde el modelo de mejor rendimiento que utiliza el archivo de salida resultante del trabajo Data Refinery como datos de entrenamiento.

• Cree un espacio de despliegue.

• Promocione el modelo guardado al espacio de despliegue.

Siga estos pasos para explorar el conducto:

1. En la pestaña Activos del proyecto Ciencia de datos y MLOps , visualice Todos los activos.

2. Pulse Conducto de aprobación de hipoteca-Ciencia de datos para abrir el conducto.

3. Efectúe una doble pulsación en el trabajo Integrar datos de aprobación hipotecaria Data Refinery , que combina varias tablas de la conexión de Db2 Warehouse on Cloud en un conjunto de datos etiquetado cohesivo que se utiliza como datos de entrenamiento para el experimento AutoAI . Pulse Cancelar para volver a la interconexión.

4. Pulse la condición Comprobar estado y elija Editar. Esta condición es un punto de decisión en el conducto para confirmar la finalización del trabajo de Data Refinery con un valor de Completado o Completado con avisos. Pulse Cancelar para volver a la interconexión.

5. Efectúe una doble pulsación en el nodo Crear experimento de AutoAI para ver los valores. Este nodo crea un experimento de AutoAI con los valores.

   1. Revise los valores para los valores siguientes:

      • Nombre del experimento de AutoAI

      • Ámbito

      • Tipo de predicción

      • Columna de predicción

      • Clase positiva

      • Índice de división de datos de entrenamiento

      • Algoritmos a incluir

      • Algoritmos a utilizar

      • Métrica de optimización

   2. Pulse Cancelar para cerrar los valores.

6. Efectúe una doble pulsación en el nodo Ejecutar experimento de AutoAI para ver los valores. Este nodo ejecuta el experimento AutoAI creado por el nodo Crear experimento AutoAI que utiliza la salida del trabajo Integrar aprobación de hipoteca Data Refinery como datos de entrenamiento.

   1. Revise los valores para los valores siguientes:

      • Experimento AutoAI

      • Activos de datos de entrenamiento

      • Prefijo del nombre de modelo

   2. Pulse Cancelar para cerrar los valores.

7. Entre los nodos Ejecutar experimento de AutoAI y Crear espacio de despliegue , pulse ¿Desea desplegar el modelo? y elija Editar. El valor de True para esta condición es un punto de decisión en la interconexión para continuar creando el espacio de despliegue. Pulse Cancelar para volver a la interconexión.

8. Efectúe una doble pulsación en el nodo Crear espacio de despliegue para actualizar los valores. Este nodo crea un nuevo espacio de despliegue con el nombre especificado y requiere entrada para los servicios de Cloud Object Storage y Watson Machine Learning .

   1. Revise el valor de Nombre de espacio nuevo .

   2. Para el campo Nuevo CRN de instancia de COS , seleccione la instancia de Cloud Object Storage en la lista.

   3. Para el campo Nuevo CRN de instancia de WML de espacio , seleccione la instancia de Watson Machine Learning en la lista.

   4. Pulse Guardar.

9. Efectúe una doble pulsación en el nodo Promocionar modelo a espacio de despliegue para ver los valores. Este nodo promociona el mejor modelo del nodo Ejecutar experimento de AutoAI al espacio de despliegue creado desde el nodo Crear espacio de despliegue .

   1. Revise los valores para los valores siguientes:

      • Activos de origen

      • Destino

   2. Pulse Cancelar para cerrar los valores.

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 05:41.

La interconexión crea el modelo, crea un espacio de despliegue y, a continuación, lo promociona a un espacio de despliegue. Debe añadir un nodo para crear un despliegue en línea. Siga estos pasos para editar el conducto para automatizar la creación de un despliegue en línea:

1. Añada el nodo Crear despliegue en línea al lienzo:

   1. Expanda la sección Crear en la paleta de nodos.

   2. Arrastre el nodo Crear despliegue en línea al lienzo y suelte el nodo después del nodo Promocionar modelo a espacio de despliegue .

2. Pase el cursor por encima del nodo Promocionar modelo a espacio de despliegue para ver la flecha. Conecte la flecha al nodo Crear despliegue en línea .

   Nota: Los nombres de nodo en la interconexión pueden diferir de la siguiente imagen animada.

   

3. Conecte el comentario Crear despliegue en línea para modelo promocionado al nodo Crear despliegue en línea conectando el círculo del recuadro de comentario al nodo.

   Nota: Los nombres de nodo en la interconexión pueden diferir de la siguiente imagen animada.

   

4. Efectúe una doble pulsación en el nodo Crear despliegue en línea para ver los valores.

5. Cambie el nombre de nodo a Create Online Deployment.

6. Junto a Activo ML, pulse Seleccionar de otro nodo en el menú.

   

7. Seleccione el nodo Promocionar modelo a espacio de despliegue en la lista. El ID de nodo winning_model está seleccionado.

8. Para el Nuevo nombre de despliegue, escriba Mortgage approval model deployment - Data Science.

9. En Modalidad de creación, seleccione Sobrescribir.

10. Pulse Guardar para guardar los valores del nodo Crear despliegue en línea .

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 06:57.

Ahora que la interconexión se ha completado, siga estos pasos para ejecutar la interconexión:

1. En la barra de herramientas, pulse Ejecutar conducto > Ejecutar prueba.

2. En la página Definir parámetros de interconexión , seleccione True para el despliegue.

   • Si se establece en True, la interconexión verifica el modelo desplegado y puntúa el modelo.

   • Si se establece en False, la interconexión verifica que el modelo se ha creado en el proyecto mediante el experimento AutoAI y revisa la información del modelo y las métricas de entrenamiento.

3. Proporcione una clave de API si esta es la primera vez que ejecuta un conducto. Los activos de conducto utilizan su clave de API personal de IBM Cloud para ejecutar operaciones de forma segura sin interrupciones.

   • Si tiene una clave de API existente, pulse Utilizar clave de API existente, pegue la clave de API y pulse Guardar.

   • Si no tiene una clave de API existente, pulse Generar nueva clave de API, proporcione un nombre y pulse Guardar. Copie la clave de API y, a continuación, guarde la clave de API para utilizarla en el futuro. Cuando haya terminado, pulse Cerrar.

4. Pulse Ejecutar para iniciar la ejecución del conducto.

5. Supervise el progreso de la interconexión.

   1. Desplácese por los registros consolidados mientras se ejecuta el conducto. La ejecución de prueba puede tardar hasta 10 minutos en completarse.

   2. A medida que se completa cada operación, seleccione el nodo para dicha operación en el lienzo.

   3. En la pestaña Inspector de nodo , vea los detalles de la operación.

   4. Pulse la pestaña Salida de nodo para ver un resumen de la salida para cada operación de nodo.

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 08:58.

El conducto ha creado varios activos. Siga estos pasos para ver los activos:

1. Pulse el nombre del proyecto Ciencia de datos y MLOps en la ruta de navegación para volver al proyecto.

   

2. En la ficha Activos , vea Todos los activos.

3. Ver los activos de datos.

   1. Pulse el activo de datos Mortgage_Data_with_Approvals_DS.csv . El trabajo de Data Refinery ha creado este activo.

   2. Pulse el nombre del proyecto Ciencia de datos y MLOps en la ruta de navegación para volver a la pestaña Activos .

4. Ver el modelo.

   1. Pulse el activo de modelo de aprendizaje automático que empieza por ds_hipotecage_approval_best_model. El experimento AutoAI ha generado varios candidatos de modelo y lo ha elegido como el mejor modelo. Guarde este nombre de modelo en un archivo de texto. El nombre de modelo es necesario para configurar los supervisores de Watson OpenScale en la siguiente tarea.

   2. Desplácese por la información del modelo.

   3. Pulse el nombre del proyecto Ciencia de datos y MLOps en la ruta de navegación para volver a la pestaña Activos .

5. Pulse el separador Trabajos en el proyecto para ver información sobre los trabajos de Data Refinery y Pipeline.

6. Abra el espacio de despliegue que ha creado con el conducto.

   1. En el menú de navegación de Cloud Pak for Data , elija Despliegues.

   2. Pulse la pestaña Espacios .

   3. Pulse el espacio de despliegue Aprobación de hipoteca-Ciencia de datos y MLOps .

7. Pulse la pestaña Activos y consulte el modelo desplegado que empieza por ds_hipotecage_approval_best_model.

8. Pulse la pestaña Despliegues.

9. Pulse Despliegue del modelo de aprobación de hipotecas-Ciencia de datos para ver el despliegue.

   1. En el separador Referencia de API , visualice el punto final de API y los fragmentos de código.

   2. Pulse el separador Probar.

   3. Pulse la pestaña Entrada JSON y sustituya el texto de ejemplo por el siguiente texto JSON.

      {
        "input_data": [
                {
                        "fields": [
                                "ID",
                                "NAME",
                                "STREET_ADDRESS",
                                "CITY",
                                "STATE",
                                "STATE_CODE",
                                "ZIP_CODE",
                                "EMAIL_ADDRESS",
                                "PHONE_NUMBER",
                                "GENDER",
                                "SOCIAL_SECURITY_NUMBER",
                                "EDUCATION",
                                "EMPLOYMENT_STATUS",
                                "MARITAL_STATUS",
                                "INCOME",
                                "APPLIEDONLINE",
                                "RESIDENCE",
                                "YRS_AT_CURRENT_ADDRESS",
                                "YRS_WITH_CURRENT_EMPLOYER",
                                "NUMBER_OF_CARDS",
                                "CREDITCARD_DEBT",
                                "LOANS",
                                "LOAN_AMOUNT",
                                "CREDIT_SCORE",
                                "CRM_ID",
                                "COMMERCIAL_CLIENT",
                                "COMM_FRAUD_INV",
                                "FORM_ID",
                                "PROPERTY_CITY",
                                "PROPERTY_STATE",
                                "PROPERTY_VALUE",
                                "AVG_PRICE"
                        ],
                        "values": [
                                [
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        "Bachelor",
                                        "Employed",
                                        null,
                                        144306,
                                        null,
                                        "Owner Occupier",
                                        15,
                                        19,
                                        2,
                                        7995,
                                        1,
                                        1483220,
                                        437,
                                        null,
                                        false,
                                        false,
                                        null,
                                        null,
                                        null,
                                        111563,
                                        null
                                ],
                                [
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        "High School",
                                        "Employed",
                                        null,
                                        45283,
                                        null,
                                        "Private Renting",
                                        11,
                                        13,
                                        1,
                                        1232,
                                        1,
                                        7638,
                                        706,
                                        null,
                                        false,
                                        false,
                                        null,
                                        null,
                                        null,
                                        54262,
                                        null
                                ]
                        ]
                }
        ]
      }
      

   4. Pulse Pronosticar. Los resultados muestran que el primer solicitante no será aprobado y el segundo solicitante será aprobado.

Para obtener una vista preliminar de esta tarea, vea el vídeo que empieza en 10:40.

Ahora está preparado para ejecutar el cuaderno incluido en el proyecto de ejemplo. El cuaderno incluye el código para:

• Capte el modelo y los despliegues.
• Configure Watson OpenScale.
• Cree el proveedor de servicios y la suscripción para el servicio de aprendizaje automático.
• Configure el supervisor de calidad.
• Configure el supervisor de equidad.
• Configure la explicabilidad.

Siga estos pasos para ejecutar el cuaderno incluido en el proyecto de ejemplo. Tómese un tiempo para leer los comentarios en el cuaderno, que explican el código en cada celda.

1. En el menú de navegación Cloud Pak for Data , seleccione Proyectos > Ver todos los proyectos.

2. Pulse el nombre del proyecto Ciencia de datos y MLOps .

3. Pulse la pestaña Activos y, a continuación, vaya a Cuadernos.
   

4. Abra el cuaderno monitor-wml-model-with-watson-openscale-pipeline .

5. Pulse el icono Editar para colocar el cuaderno en modalidad de edición.

6. Cuando importa un proyecto desde el concentrador de recursos, la primera celda del cuaderno contiene la señal de acceso del proyecto. Si este cuaderno no contiene una primera celda con una señal de acceso de proyecto, debe generar la señal. En el menú Más, seleccione Insertar señal de proyecto. Esta acción inserta una celda nueva como la primera celda del cuaderno que contiene la señal de proyecto.

7. Proporcione la clave de API en la sección Proporcionar la clave de API de IBM Cloud . Debe pasar sus credenciales a la API de Watson Machine Learning utilizando una clave de API. Si todavía no tiene una clave de API guardada, siga estos pasos para crear una clave de API.
   Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 04:55.

   1. Acceda a la página de claves de API de la consola deIBM Cloud.

   2. Pulse Crear una clave de API de IBM Cloud. Si tiene alguna clave de API existente, el botón se puede etiquetar como Crear.

   3. Escriba un nombre y una descripción.

   4. Pulse Crear.

   5. Copie la clave de API.

   6. Descargue la clave de API para su uso futuro.

   7. Vuelva al cuaderno y pegue la clave de API en el campo ibmcloud_api_key .

8. En la sección 3. Modelo y despliegue, para la variable model_name , pegue el nombre de modelo que ha guardado en un archivo de texto en la tarea anterior. space_name y deployment_name se rellenan automáticamente utilizando los nombres especificados en la interconexión.

9. Pulse Celda > Ejecutar todo para ejecutar todas las celdas del cuaderno. De forma alternativa, pulse el icono Ejecutar para ejecutar la celda del cuaderno por celda para explorar cada celda y su salida.

10. Supervise el progreso celda por celda, observando el asterisco "En [*]" cambiando a un número, por ejemplo, "En [1]". El cuaderno tarda de 1 a 3 minutos en completarse.

11. Pruebe estas sugerencias si encuentra algún error al ejecutar el cuaderno:

    • Pulse Kernel > Reiniciar y borrar salida para reiniciar el kernel y, a continuación, vuelva a ejecutar el cuaderno.
    • Verifique que ha copiado y pegado el nombre de despliegue exactamente sin espacios iniciales o finales.

Para obtener una vista previa de esta tarea, vea el vídeo a partir de 13:35.

Siga estos pasos para evaluar el modelo en Watson OpenScale:

1. Pulse el proyecto Ciencia de datos y MLOps en la ruta de navegación.
   

2. En la pestaña Activos , expanda el tipo de activo Datos y, a continuación, pulse Activos de datos.

3. Pulse el menú Desbordamiento para el activo de datos mortgage_sample_test_data.csv y elija Descargar. Para validar que el modelo funciona según sea necesario, necesita un conjunto de datos etiquetados, que se han mantenido fuera del entrenamiento del modelo. Este archivo CSV contiene los datos de reserva.

4. Inicie Watson OpenScale.

   1. En el menú de navegación de Cloud Pak for Data , seleccione Servicios > Instancias de servicio.

   2. Pulse el nombre de instancia de Watson OpenScale . Si se le solicita, inicie sesión utilizando las mismas credenciales que ha utilizado para registrarse en Cloud Pak for Data.

   3. En la página de instancia de servicio de Watson OpenScale, pulse Iniciar aplicación.

5. En el panel de control de Insights, pulse el mosaico Despliegue del modelo de aprobación de hipoteca-Ciencia de datos .

6. En el menú Acciones, seleccione Evaluar ahora.

7. En la lista de opciones de importación, seleccione desde archivo CSV.

8. Arrastre el archivo de datos mortgage_sample_test_data.csv que ha descargado del proyecto al panel lateral.

9. Pulse Cargar y evaluar. La evaluación puede tardar varios minutos en completarse.

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 14:44.

El supervisor de calidad de Watson OpenScale genera un conjunto de métricas para evaluar la calidad del modelo. Puede utilizar estas métricas de calidad para determinar lo bien que predice el modelo los resultados. Cuando se complete la evaluación que utiliza los datos reservados, siga estos pasos para observar la calidad o precisión del modelo:

1. En el panel de navegación de la izquierda, pulse el icono Panel de control de Insights .

2. Localice el mosaico Despliegue del modelo de aprobación de hipotecas-Ciencia de datos . Tenga en cuenta que el despliegue tiene 0 problemas y que las pruebas de Calidad y Equidad no han generado ningún error, lo que significa que el modelo ha alcanzado los umbrales necesarios para ello.

   Nota: Es posible que tenga que renovar el panel de control para ver las actualizaciones después de la evaluación.

3. Pulse el mosaico Despliegue del modelo de aprobación de hipotecas-Ciencia de datos para ver más detalles.

4. En la sección Calidad , pulse el icono Configurar . Aquí puede ver que el umbral de calidad que está configurado para este monitor es del 70% y que la medición de calidad que se está utilizando es área bajo la curva ROC.

5. Pulse Ir a resumen de modelo para volver a la pantalla de detalles de modelo.

6. En la sección Calidad , pulse el icono Detalles para ver los resultados detallados de calidad de modelo. Aquí puede ver una serie de cálculos de métricas de calidad y una matriz de confusión que muestra las decisiones correctas del modelo junto con falsos positivos y falsos negativos. El área calculada bajo la curva ROC es 0.9 o superior, lo que supera el umbral 0.7 , por lo que el modelo cumple sus requisitos de calidad.

7. Pulse Despliegue del modelo de aprobación de hipoteca-Ciencia de datos en la ruta de navegación para volver a la pantalla de detalles del modelo.

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 15:59.

El supervisor de equidad de Watson OpenScale genera un conjunto de métricas para evaluar la equidad del modelo. Puede utilizar las métricas de equidad para determinar si el modelo produce resultados sesgados. Siga estos pasos para observar la equidad del modelo:

1. En la sección Equidad , pulse el icono Configurar . Aquí se ve que se está revisando el modelo para garantizar que los solicitantes estén siendo tratados de manera justa independientemente de su género. Las mujeres se identifican como el grupo supervisado para el que se está midiendo la equidad, y el umbral de equidad debe ser de al menos el 80%. El supervisor de equidad utiliza el método de impacto dispar para determinar la equidad. El impacto dispar compara el porcentaje de resultados favorables para un grupo supervisado con el porcentaje de resultados favorables para un grupo de referencia.

2. Pulse Ir a resumen del modelo Para volver a la pantalla de detalles del modelo,

3. En la sección Equidad , pulse el icono Detalles para ver los resultados detallados de equidad del modelo. Aquí puede ver el porcentaje de solicitantes masculinos y femeninos que se están aprobando automáticamente, junto con una puntuación de equidad de aproximadamente el 100%, por lo que el rendimiento del modelo supera con creces el umbral de equidad del 80% requerido.

4. Observe los conjuntos de datos identificados en la lista Conjunto de datos . Para asegurarse de que las métricas de equidad son más precisas, Watson OpenScale utiliza la perturbación para determinar los resultados en los que sólo se cambian los atributos protegidos y las entradas de modelo relacionadas, mientras que otras características siguen siendo las mismas.La perturbación cambia los valores de la característica del grupo de referencia al grupo supervisado o viceversa. Estos guardaraíles adicionales se utilizan para calcular la equidad cuando se utiliza el conjunto de datos "equilibrado", pero también puede ver los resultados de equidad utilizando sólo datos de entrenamiento de carga útil o modelo. Puesto que el modelo se está comportando de forma justa, no es necesario que entre en detalles adicionales para esta métrica.
   

5. Pulse la ruta de navegación Despliegue del modelo de aprobación de hipoteca-Ciencia de datos para volver a la pantalla de detalles del modelo.

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 17:42.

Es necesario entender cómo el modelo llegó a su decisión. Esta comprensión es necesaria tanto para explicar las decisiones a las personas implicadas en la aprobación del préstamo como para asegurarse de que los propietarios del modelo sean válidos. Para comprender estas decisiones, siga estos pasos para observar la explicabilidad del modelo:

1. En el panel de navegación izquierdo, pulse el icono Explicar una transacción .

2. Seleccione Despliegue del modelo de aprobación de hipotecas-Ciencia de datos para ver una lista de transacciones.

3. Para cualquier transacción, pulse Explicar en la columna Acciones. Aquí se ve la explicación detallada de esta decisión.Verá las entradas más importantes para el modelo junto con la importancia de cada una para el resultado final. Las barras azules representan entradas que tienden a dar soporte a la decisión del modelo, mientras que las barras rojas muestran entradas que podrían haber llevado a otra decisión. Por ejemplo, un solicitante podría tener ingresos suficientes para ser aprobado de otro modo, pero su pobre historial de crédito y su elevada deuda juntos llevan al modelo a rechazar la solicitud.Revise esta explicación para evaluar la base de la decisión del modelo.

4. Opcional: Si desea profundizar más en cómo el modelo ha tomado su decisión, pulse la pestaña Inspeccionar . Utilice la característica Inspeccionar para analizar la decisión de buscar áreas de sensibilidad en las que pequeños cambios en unas pocas entradas resultarían en una decisión diferente. Puede probar usted mismo la sensibilidad alterando temporalmente algunas de las entradas reales con alternativas para ver si estas afectarían al resultado.