Guía de aprendizaje de MLOps and Trustworthy AI: Probar y validar el modelo

Siga esta guía de aprendizaje para evaluar y supervisar un modelo desplegado con el caso de uso de MLOps and Trustworthy AI de la prueba de entramado de datos. Su objetivo es utilizar Watson OpenScale para evaluar y configurar supervisores para un modelo desplegado que pronostica los candidatos cualificados para hipotecas. Desea asegurarse de que el modelo es preciso y tratar a todos los solicitantes de manera justa.

La historia de la guía de aprendizaje es que Golden Bank quiere ampliar su negocio ofreciendo renovaciones de hipotecas de bajo interés para aplicaciones en línea.Las aplicaciones en línea amplían el acceso a clientes para el banco y reducen los costes de proceso de las solicitudes del banco. Como científico de datos en Golden Bank, debe crear un modelo de aprobación de hipotecas que evite el riesgo no anticipado y trate a todos los solicitantes de manera justa. Ejecutará un cuaderno de Jupyter para configurar supervisores para un modelo de aprendizaje automático para que pueda desplegarlos en un uso productivo con la confianza de que funcionarán de forma eficaz y según lo previsto. Esto se logra a través de servicios Cloud Pak for Data que, en conjunto, ofrecen confianza para sus datos, confianza para sus modelos y confianza para sus procesos necesarios para trabajar con IA de forma segura.

Siga estos pasos para aprender a supervisar y probar un modelo de aprendizaje automático en un entorno de preproducción con Watson OpenScale donde evaluará la equidad del modelo, generará una explicación para el rendimiento del modelo y marcará el modelo como aprobado para el despliegue de producción.

En esta guía de aprendizaje, hará lo siguiente:

  1. Ejecute el cuaderno para configurar los supervisores.
  2. Evaluar el modelo.
  3. Observe los supervisores del modelo para garantizar la calidad.
  4. Observe los supervisores del modelo para asegurarse de que sea justo.
  5. Observe los supervisores del modelo para garantizar la explicabilidad.
  6. Promocione el modelo a preproducción y apruebe el modelo

Si necesita ayuda con esta guía de aprendizaje, plantee una pregunta o busque una respuesta en el foro de debate de la comunidad de Cloud Pak for Data.

Consejo: Para aprovechar al máximo esta guía de aprendizaje, abra Cloud Pak for Data as a Service en una pestaña del navegador y mantenga abierta esta página de la guía de aprendizaje en otra pestaña del navegador para cambiar fácilmente entre las dos aplicaciones.

Vista previa de la guía de aprendizaje

Ver vídeo Vea este vídeo para obtener una vista preliminar de los pasos de esta guía de aprendizaje.

Este vídeo proporciona un método visual como una alternativa a seguir los pasos escritos incluidos en esta documentación.

Requisitos previos

Debe registrarse para Cloud Pak for Data as a Service y suministrar los servicios necesarios para el caso de uso de integración de datos multinube.

Puede registrarse para Cloud Pak for Data as a Service de cualquiera de estas formas:

Crear y desplegar un modelo de aprendizaje automático

Ver vídeo Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 00:47.

Complete la guía de aprendizaje de Crear y desplegar un modelo para crear, promocionar y desplegar el modelo de aprendizaje automático utilizado en esta guía de aprendizaje.

Suministro de los servicios necesarios

Siga estos pasos para verificar o suministrar los servicios necesarios.

  1. En el menú de navegación de Cloud Pak for Data, elija Servicios > Instancias de servicio.
  2. Utilice el recuadro desplegable Producto para determinar si existe una instancia de servicio de Watson OpenScale existente.
  3. Si necesita crear una instancia de servicio de Watson OpenScale, pulse Añadir servicio.
  4. Seleccione Watson OpenScale.
  5. Seleccione el plan Lite.
  6. Pulse Crear.
  7. Repita estos pasos para verificar o suministrar los siguientes servicios adicionales:
    • Watson Studio
    • Watson Machine Learning
    • Watson Knowledge Catalog
    • Cloud Object Storage

Paso 1: Ejecutar el cuaderno para configurar los supervisores

Ver vídeo Para obtener una vista preliminar de esta tarea, vea el vídeo que empieza en 01:14.

Siga estos pasos para ejecutar el cuaderno incluido en el proyecto de ejemplo. Este cuaderno configurará supervisores para el modelo que también se pueden configurar mediante la interfaz de usuario. Sin embargo, es más rápido y menos propenso a errores configurarlos con un cuaderno.

  1. En el menú de navegación de Cloud Pak for Data, elija Proyectos > Ver todos los proyectos.
  2. Abra el proyecto MLOps and Trustworthy AI.
  3. En la pestaña Activos, pulse Código fuente > Cuaderno.
  4. Abra el cuaderno 2-monitor-wml-modelo-con-Watson-openscale.
  5. Puesto que el cuaderno está en modalidad de solo lectura, pulse el icono lápiz para colocar el cuaderno en modalidad de edición.
  6. Siga las instrucciones de la parte superior del cuaderno para importar una señal de proyecto.
    1. En el menú Más, seleccione Insertar señal de proyecto. Esto inserta una nueva celda en la parte superior del cuaderno que contiene la señal del proyecto.
  7. En la sección Insertar clave de API de IBM Cloud, pegue la clave de API en el campo ibmcloud_api_key.
  8. Para ejecutar todas las celdas del cuaderno, pulse Celda > Ejecutar todo. Como alternativa, puede ejecutar el cuaderno celda por celda si desea explorar cada celda y su salida.
  9. El cuaderno tardará entre 1 y 3 minutos en completarse. Puede supervisar el progreso celda por celda observando el asterisco "En [*]" que cambia a un número, por ejemplo, "En [1]".
  10. Si encuentra algún error durante la ejecución del cuaderno, pulse Kernel > Reiniciar y borrar salida para reiniciar el kernel y luego vuelva a ejecutar el cuaderno.

Paso 2: Evaluar el modelo

Ver vídeo Para obtener una vista preliminar de esta tarea, vea el vídeo que empieza en 02:58.

Siga estos pasos para descargar los datos de reserva y utilice esos datos para evaluar el modelo en Watson OpenScale.

  1. Pulse el proyecto MLOps and Trustworthy AI en las indicaciones de ruta.
  2. En la pestaña Activos, pulse Datos > Activo de datos.
  3. En el menú Desbordamiento del activo de datos GoldenBank_HoldoutData.csv, seleccione Descargar. Para validar que el modelo funciona según lo previsto, necesitará un conjunto de datos etiquetados que se han reservado desde el entrenamiento del modelo. Este archivo CSV contiene los datos de reserva.
  4. Para iniciar Watson OpenScale, en el menú de navegación de Cloud Pak for Data, seleccione Servicios > Instancias de servicio.
  5. Utilice el recuadro desplegable Producto para ver la instancia de servicio de Watson OpenScale existente.
  6. Abra la instancia de Watson OpenScale. Si se le solicita, inicie sesión utilizando las mismas credenciales utilizadas para registrarse en Cloud Pak for Data.
  7. En la página de instancia de servicio de Watson OpenScale, pulse Iniciar aplicación.
  8. En el Panel de control de detalles, pulse el mosaico Despliegue del modelo de aprobación de hipotecas.
  9. En el menú Acciones, seleccione Evaluar ahora.
  10. En la lista de opciones de importación, seleccione desde archivo CSV.
  11. Arrastre el archivo de datos Golden Bank_HoldoutData.csv que ha descargado desde el proyecto en el panel lateral.
  12. Pulse Cargar y evaluar.

Paso 3: Observar los supervisores de modelo para controlar la calidad

Ver vídeo Para obtener una vista preliminar de esta tarea, vea el vídeo que empieza en 04:00.

Cuando finalice la evaluación utilizando los datos de reserva, siga estos pasos para observar la calidad o la precisión del modelo.

  1. En el panel de navegación izquierdo, pulse el icono Panel de control de detalles.
  2. Localice el mosaico Despliegue del modelo de aprobación de hipotecas. Observe que hay 0 problemas, y que han pasado tanto pruebas de calidad como de equidad, lo que significa que el modelo ha cumplido los umbrales necesarios.
  3. Para ver más detalles, pulse el mosaico Despliegue del modelo de aprobación de hipotecas.
  4. En la sección Calidad, pulse el icono Configurar Configurar.Aquí puede ver que el umbral de calidad configurado para este supervisor es del 70 % y que la medición de calidad que se está utilizando es el área que hay bajo la curva de ROC.
  5. Para volver a la pantalla de detalles del modelo, pulse Ir al resumen del modelo.
  6. Para ver los resultados detallados de la calidad del modelo, en la sección Calidad pulse el icono de flecha derecha flecha derecha.Aquí se ve una serie de cálculos de métricas de calidad y una matriz de confusión que muestra las decisiones correctas del modelo, así como falsos positivos y falsos negativos.El área calculada bajo la curva ROC es 0,9 o superior, muy por encima del umbral de 0,7, por lo que el modelo cumple con su requisito de calidad.
  7. Para volver a la pantalla de detalles del modelo, pulse el rastro de navegación de Despliegue del modelo de aprobación de hipotecas.

Paso 4: Observar los supervisores de modelo para asegurarse de que sea justo

Ver vídeo Para obtener una vista preliminar de esta tarea, vea el vídeo que empieza en 05:19.

Siga estos pasos para observar la equidad del modelo.

  1. En la sección Equidad, pulse el icono Configurar Configurar. Aquí se ve que se está revisando el modelo para garantizar que los solicitantes estén siendo tratados de manera justa independientemente de su género.Las mujeres son identificadas como el grupo supervisado para el que se está midiendo la equidad y el umbral para la equidad es de al menos el 80 %.El supervisor de equidad utiliza el método de impacto dispar para determinar la equidad.
  2. Para volver a la pantalla de detalles del modelo, pulse Ir al resumen del modelo.
  3. Para ver los resultados detallados de la equidad del modelo, en la sección Equidad pulse el icono de flecha derecha flecha derecha. Aquí se ve el porcentaje de solicitantes masculinos y femeninos que se están aprobando automáticamente, junto con una puntuación de equidad de más del 100 %, por lo que el rendimiento del modelo está muy por encima del umbral de equidad del 80 % requerido.
  4. Observe los conjuntos de datos identificados en la parte superior de la pantalla.Para asegurarse de que las métricas de equidad son lo más precisas posible, además de las predicciones de modelo reales Watson OpenScale utiliza la perturbación para determinar los resultados en los que solo se modifican los atributos protegidos y las entradas de modelo relacionadas, y las demás características siguen siendo las mismas.Estas protecciones adicionales se utilizan para calcular la equidad cuando se utiliza el conjunto de datos "equilibrado", pero también puede ver los resultados de la equidad utilizando solo los datos de entrenamiento de la carga útil o del modelo.Puesto que el modelo se está comportando de forma justa, no es necesario entrar en detalles adicionales para esta métrica.
  5. Para volver a la pantalla de detalles del modelo, pulse el rastro de navegación de Despliegue del modelo de aprobación de hipotecas.

Paso 5: Observar los supervisores del modelo para garantizar la explicabilidad

Ver vídeo Para obtener una vista preliminar de esta tarea, vea el vídeo que empieza en 07:00.

También es importante entender cómo ha llegado el modelo a la decisión que ha tomado. Esto es necesario tanto para explicar las decisiones a las personas involucradas en la aprobación del préstamo como para asegurar a los propietarios de modelos que las decisiones son válidas. Para entender estas decisiones, siga estos pasos para observar la explicabilidad del modelo.

  1. En el panel de navegación izquierdo, pulse el icono Explicar una transacción.
  2. Seleccione Despliegue del modelo de aprobación de hipotecas para ver una lista de transacciones para ese modelo desplegado.
  3. Para cualquier transacción, pulse Explicar en la columna Acciones. Aquí se ve la explicación detallada de esta decisión.Verá las entradas más importantes para el modelo junto con la importancia de cada una para el resultado final.Las barras azules representan entradas que tienden a apoyar la decisión del modelo mientras que las barras moradas muestran entradas que podrían haber llevado a tomar otra decisión.Por ejemplo, un solicitante puede haber tenido suficientes ingresos para ser aprobado, pero su pobre historial crediticio y su alta deuda llevan al modelo a rechazar la solicitud.Revise esta explicación para evaluar la base de la decisión del modelo.
  4. (Opcional) Si desea profundizar en cómo ha tomado la decisión el modelo, pulse la pestaña Inspeccionar. Aquí puede analizar la decisión de encontrar áreas de sensibilidad en las que un pequeño cambio en algunas entradas daría lugar a una decisión diferente, y puede probar la sensibilidad usted mismo modificando algunas de las entradas reales con alternativas para ver si esto afectaría al resultado.

Paso 6: Promocionar el modelo a preproducción y aprobar el modelo

Ver vídeo Para obtener una vista preliminar de esta tarea, vea el vídeo que empieza en 08:38.

Siga estos pasos para cambiar el estado de la entrada de modelo en el inventario de modelos y aprobar el modelo.

  1. En el menú de navegación de Cloud Pak for Data, elija Catálogos > Inventario de modelos.
  2. Para la Entrada del modelo de aprobación de hipotecas, pulse Ver detalles.
  3. Pulse la pestaña Activo. En Seguimiento de modelos, puede ver que el modelo está ahora en la etapa de Validación.
  4. Pulse el icono de lápiz situado junto a Estado de entrada de modelo, seleccione Promocionado a preproducción y pulse Actualizar.
  5. Vuelva a Watson OpenScale Panel de información.
  6. Pulse el mosaico Despliegue de modelo de aprobación de hipotecas.
  7. En el menú Acciones, seleccione Aprobar para producción y, a continuación, pulse Aprobar. Esto transmitirá al equipo de operaciones de IA que ahora pueden desplegar el modelo en un espacio de producción designado.

Más información

Tema principal: Guías de aprendizaje de entramado de datos