Guía de aprendizaje de gobierno de IA: Probar y validar el modelo
Realice esta guía de aprendizaje para evaluar y supervisar el modelo creado y desplegado en la Guía de aprendizaje sobre creación y despliegue de un modelo con el caso de uso de gobierno de IA. Su objetivo es utilizar Watson OpenScale para configurar y evaluar supervisores para un modelo desplegado que predice qué candidatos pueden optar a hipotecas. Desea asegurarse de que el modelo es preciso y trata a todos los solicitantes de forma justa.
La historia de la guía de aprendizaje es que Golden Bank quiere ampliar su negocio ofreciendo renovaciones de hipotecas de bajo interés para aplicaciones en línea.Las aplicaciones en línea amplían el acceso a clientes para el banco y reducen los costes de proceso de las solicitudes del banco. Como científico de datos en Golden Bank, debe crear un modelo de aprobación de hipotecas que evite el riesgo no anticipado y trate a todos los solicitantes de manera justa. Ejecutará un bloc de notas Jupyter para configurar monitores para un modelo de aprendizaje automático, de modo que pueda desplegarlos en un uso productivo con la confianza de que funcionan eficazmente y según lo previsto. Esta tarea se lleva a cabo a través de los servicios Cloud Pak for Data, que juntos ofrecen la confianza en sus datos, la confianza en sus modelos y la confianza en sus procesos que se requieren para operar la IA con certeza.
La siguiente imagen animada proporciona una vista previa rápida de lo que logrará al final del tutorial. Pulse la imagen para ver una imagen más grande.
Vista previa de la guía de aprendizaje
En esta guía de aprendizaje, realizará estas tareas:
- Configure los requisitos previos.
- Tarea 1: Ejecutar el cuaderno para configurar los supervisores.
- Tarea 2: Evaluar el modelo.
- Tarea 3: Observar la calidad de los supervisores de modelo.
- Tarea 4: Observar la equidad en los supervisores del modelo.
- Tarea 5: Observar la explicabilidad de los supervisores de modelo.
- Tarea 6: Promocionar el modelo a preproducción y aprobar el modelo.
- Limpieza (opcional)
Vea este vídeo para obtener una vista preliminar de los pasos de esta guía de aprendizaje.
Este vídeo proporciona un método visual para aprender los conceptos y tareas de esta documentación.
Sugerencias para completar esta guía de aprendizaje
Estas son algunas sugerencias para completar correctamente esta guía de aprendizaje.
Utilizar la imagen en imagen de vídeo
La siguiente imagen animada muestra cómo utilizar las características de imagen en imagen y tabla de contenido de vídeo:
Obtener ayuda en la comunidad
Si necesita ayuda con esta guía de aprendizaje, puede formular una pregunta o encontrar una respuesta en el foro de discusión de la comunidad deCloud Pak for Data.
Configurar las ventanas del navegador
Para obtener la experiencia óptima al completar esta guía de aprendizaje, abra Cloud Pak for Data en una ventana de navegador y mantenga abierta esta página de la guía de aprendizaje en otra ventana de navegador para conmutar fácilmente entre las dos aplicaciones. Considere la posibilidad de organizar las dos ventanas del navegador una al lado de la otra para que sea más fácil de seguir.
Configurar los requisitos previos
Complete la guía de aprendizaje Crear y desplegar un modelo
Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 00:47.
Complete la guía de aprendizaje Crear y desplegar un modelo para crear, promocionar y desplegar el modelo de aprendizaje automático que se utiliza en esta guía de aprendizaje.
Suministrar los servicios
Para obtener una vista preliminar de esta tarea, vea el vídeo que empieza en 01:14.
Además de los servicios necesarios para completar la Guía de aprendizaje de creación y despliegue de un modelo, también necesita el servicio Watson OpenScale suministrado. Siga estos pasos para verificar o suministrar los servicios necesarios:
En Cloud Pak for Data, verifique que está en la región de Dallas. Si no es así, pulse el desplegable de región y, a continuación, seleccione Dallas.
En el Cloud Pak for Data menú de navegación
, elija Servicios > Instancias de servicio.
Vea la lista de servicios para determinar si existe una instancia de servicio watsonx.governance o Watson OpenScale .
Si necesita crear una instancia de servicio watsonx.governance , pulse Añadir servicio.
Seleccione watsonx.governance. Tenga en cuenta que watsonx.governance incluye Watson OpenScale.
Para la región, seleccione Dallas.
Seleccione el plan Lite.
Pulse Crear.
Se necesitaban los siguientes servicios adicionales para la Guía de aprendizaje de creación y despliegue de un modelo:
- Watson Studio
- Watson Machine Learning
- IBM Knowledge Catalog
- Cloud Object Storage
Compruebe el progreso
La imagen siguiente muestra las instancias de servicio suministradas. Ahora está preparado para iniciar esta guía de aprendizaje.
Tarea 1: Ejecutar el cuaderno para configurar los supervisores
Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 01:55.
Ejecute el segundo cuaderno incluido en el proyecto de ejemplo para:
- Capte el modelo y los despliegues.
- Configure Watson OpenScale.
- Cree el proveedor de servicios y la suscripción para el servicio de aprendizaje automático.
- Configure el supervisor de calidad.
- Configure el supervisor de equidad.
- Configure la explicabilidad.
Siga estos pasos para ejecutar el cuaderno incluido en el proyecto de ejemplo. Este cuaderno configura supervisores para el modelo, que también se puede configurar a través de la interfaz de usuario. Sin embargo, es más rápido y menos propenso a errores configurarlos con un cuaderno. Tómese un tiempo para leer los comentarios en el cuaderno, que explican el código en cada celda.
En el menú de navegación Cloud Pak for Data
, seleccione Proyectos > Ver todos los proyectos.
Abra el proyecto de gobierno de IA .
Nota: Es posible que vea una visita guiada que muestra las guías de aprendizaje que se incluyen con este caso de uso. Los enlaces de la visita guiada abrirán estas instrucciones del tutorial.Pulse la pestaña Activos y, a continuación, vaya a Cuadernos.
Abra el cuaderno 2-monitor-wml-modelo-con-Watson-openscale.
Puesto que el cuaderno está en modalidad de sólo lectura, pulse el icono Editar
para colocar el cuaderno en modalidad de edición.
Cuando ha importado el proyecto desde el concentrador de recursos, la primera celda de este cuaderno contiene la señal de acceso del proyecto. Si este cuaderno no contiene una primera celda con una señal de acceso de proyecto, para generar la señal, en el menú Más , seleccione Insertar señal de proyecto. Esta acción inserta una celda nueva como la primera celda del cuaderno que contiene la señal de proyecto.
En la sección Insertar clave de API de IBM Cloud , pegue la clave de API en el campo ibmcloud_api_key .
Pulse Celda > Ejecutar todo para ejecutar todas las celdas del cuaderno. De forma alternativa, puede ejecutar el cuaderno celda por celda si desea explorar cada celda y su salida.
El cuaderno tarda de 1 a 3 minutos en completarse. Puede supervisar la celda de progreso mediante la celda que observa el asterisco "En [
*
]" cambiando a un número, por ejemplo, "En [1
]".Si encuentra algún error durante la ejecución del cuaderno, intente estas sugerencias de resolución de problemas:
Pulse Kernel > Reiniciar y borrar salida para reiniciar el kernel y, a continuación, vuelva a ejecutar el cuaderno.
Suprima los despliegues de Watson OpenScale existentes y suministre una nueva instancia de servicio.
Verifique que ha creado el caso de uso de IA, el espacio de despliegue y el nombre de despliegue en la Guía de aprendizaje de creación y despliegue de un modelo copiando y pegando el nombre de artefacto especificado exactamente sin espacios iniciales ni finales.
Compruebe el progreso
La imagen siguiente muestra el cuaderno cuando la ejecución se ha completado. El cuaderno configura supervisores para el modelo, por lo que ahora puede ver el despliegue en Watson OpenScale.
Tarea 2: Evaluar el modelo
Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 03:40.
Siga estos pasos para descargar datos reservados y utilizar esos datos para evaluar el modelo en Watson OpenScale:
Pulse el proyecto Gobierno de IA en la pista de navegación.
En la pestaña Activos , pulse Datos > Activos de datos.
Haga clic en el menú Desbordamiento
del activo de datos GoldenBank_HoldoutData.csv y seleccione Descargar. Para validar que el modelo funciona según sea necesario, necesita un conjunto de datos etiquetados, que se han mantenido fuera del entrenamiento del modelo. Este archivo CSV contiene los datos de reserva.
Inicie Watson OpenScale. En el Menú de navegación
, seleccione Servicios > Instancias de servicio.
Abra la instancia de Watson OpenScale. Si se le solicita, inicie sesión utilizando las mismas credenciales que ha utilizado para registrarse en Cloud Pak for Data.
En la página de instancia de servicio de Watson OpenScale , pulse Iniciar Watson OpenScale.
En el Panel de control de detalles, pulse el mosaico Despliegue del modelo de aprobación de hipotecas.
En el menú Acciones, seleccione Evaluar ahora.
En la lista de opciones de importación, seleccione desde archivo CSV.
Arrastre el archivo de datos Golden Bank_HoldoutData.csv que ha descargado desde el proyecto en el panel lateral.
Pulse Cargar y evaluar.
Comprueba tu progreso
La imagen siguiente muestra el resultado de la evaluación para el modelo desplegado en Watson OpenScale. Ahora que ha evaluado el modelo, está preparado para observar la calidad del modelo.
Tarea 3: Observar la calidad de los supervisores de modelo
Para obtener una vista preliminar de esta tarea, vea el vídeo que empieza en 04:44.
El supervisor de calidad de Watson OpenScale genera un conjunto de métricas para evaluar la calidad del modelo. Puede utilizar estas métricas de calidad para determinar lo bien que predice el modelo los resultados. Cuando se complete la evaluación que utiliza los datos reservados, siga estos pasos para observar la calidad o precisión del modelo:
En el panel de navegación de la izquierda, haz clic en el icono Panel de información
.
Localice el mosaico Despliegue del modelo de aprobación de hipotecas. Tenga en cuenta que el despliegue tiene 0 problemas y que se han pasado las pruebas de Calidad y Equidad , lo que significa que el modelo ha cumplido los umbrales que le son necesarios.
Pulse el mosaico Despliegue de modelo de aprobación de hipoteca para ver más detalles.
En la sección Calidad, haga clic en el icono Configurar
. Aquí puede ver que el umbral de calidad que está configurado para este monitor es del 70% y que la medición de calidad que se está utilizando es área bajo la curva ROC.
Pulse Ir a resumen de modelo para volver a la pantalla de detalles de modelo.
En la sección Calidad, haz clic en el icono Detalles
para ver los resultados detallados de la calidad del modelo. Aquí puede ver una serie de cálculos de métricas de calidad y una matriz de confusión que muestra las decisiones correctas del modelo junto con falsos positivos y falsos negativos. El área calculada bajo la curva ROC es 0.9 o superior, lo que supera el umbral 0.7 , por lo que el modelo cumple sus requisitos de calidad.
Pulse Despliegue de modelo de aprobación de hipoteca en la ruta de navegación para volver a la pantalla de detalles del modelo.
Comprueba tu progreso
La imagen siguiente muestra los detalles de calidad en Watson OpenScale. Ahora que ha observado la calidad del modelo, puede observar la equidad del modelo.
Tarea 4: Observar la equidad en los supervisores del modelo
Para previsualizar esta tarea, vea el vídeo que comienza en 06:01.
El supervisor de equidad de Watson OpenScale genera un conjunto de métricas para evaluar la equidad del modelo. Puede utilizar las métricas de equidad para determinar si el modelo produce resultados sesgados. Siga estos pasos para observar la equidad del modelo:
En la sección Igualdad, haz clic en el icono Configurar
. Aquí se ve que se está revisando el modelo para garantizar que los solicitantes estén siendo tratados de manera justa independientemente de su género.Las mujeres son identificadas como el grupo supervisado para el que se está midiendo la equidad y el umbral para la equidad es de al menos el 80 %.El supervisor de equidad utiliza el método de impacto dispar para determinar la equidad. El impacto dispar compara el porcentaje de resultados favorables para un grupo supervisado con el porcentaje de resultados favorables para un grupo de referencia.
Pulse Ir a resumen de modelo para volver a la pantalla de detalles de modelo.
En la sección Justicia, haga clic en el icono Detalles
para ver los resultados detallados de la justicia del modelo. Aquí verá el porcentaje de solicitantes masculinos y femeninos que están siendo aprobados automáticamente, junto con una puntuación de equidad de más del 100%, por lo que el rendimiento del modelo supera con creces el umbral de equidad del 80% requerido.
Tenga en cuenta los conjuntos de datos identificados. Para asegurarse de que las métricas de equidad son más precisas, Watson OpenScale utiliza la perturbación para determinar los resultados en los que sólo se cambian los atributos protegidos y las entradas de modelo relacionadas, mientras que otras características siguen siendo las mismas.La perturbación cambia los valores de la característica del grupo de referencia al grupo supervisado o viceversa. Estas protecciones adicionales se utilizan para calcular la equidad cuando se utiliza el conjunto de datos "equilibrado", pero también puede ver los resultados de la equidad utilizando solo los datos de entrenamiento de la carga útil o del modelo.Puesto que el modelo se está comportando de forma justa, no es necesario entrar en detalles adicionales para esta métrica.
Pulse la ruta de navegación Despliegue de modelo de aprobación de hipoteca para volver a la pantalla de detalles del modelo.
Comprueba tu progreso
La imagen siguiente muestra los detalles de equidad en Watson OpenScale. Ahora que ha observado la equidad del modelo, puede observar la explicabilidad del modelo.
Tarea 5: Observar la explicabilidad de los supervisores de modelo
Para previsualizar esta tarea, vea el vídeo que comienza en 07:42.
También es importante entender cómo el modelo llegó a su decisión. Esta comprensión es necesaria tanto para explicar las decisiones a las personas implicadas en la aprobación del préstamo como para asegurarse de que los propietarios del modelo sean válidos. Para comprender estas decisiones, siga estos pasos para observar la explicabilidad del modelo:
En el panel de navegación izquierdo, haga clic en el icono Explicar una transacción
.
Seleccione Despliegue de modelo de aprobación de hipoteca para ver una lista de transacciones.
Para cualquier transacción, pulse Explicar en la columna Acciones. Aquí se ve la explicación detallada de esta decisión.Verá las entradas más importantes para el modelo junto con la importancia de cada una para el resultado final. Las barras azules representan entradas que tienden a dar soporte a la decisión del modelo, mientras que las barras rojas muestran entradas que podrían haber llevado a otra decisión. Por ejemplo, un solicitante podría tener ingresos suficientes para ser aprobado de otro modo, pero su pobre historial de crédito y su elevada deuda juntos llevan al modelo a rechazar la solicitud.Revise esta explicación para evaluar la base de la decisión del modelo.
(Opcional) Si desea profundizar más en cómo el modelo ha tomado su decisión, pulse la pestaña Inspeccionar . Utilice la característica Inspeccionar para analizar la decisión de buscar áreas de sensibilidad en las que un pequeño cambio en unas pocas entradas daría como resultado una decisión diferente, y puede probar la sensibilidad por sí mismo alterando temporalmente algunas de las entradas reales con alternativas para ver si estas afectarían al resultado.
Comprueba tu progreso
La imagen siguiente muestra la explicabilidad de una transacción en Watson OpenScale. Ha determinado que el modelo es preciso y trata a todos los solicitantes de forma justa. Ahora, puede avanzar el modelo a la siguiente fase de su ciclo de vida.
Tarea 6: Promocionar el modelo a preproducción y aprobar el modelo
Para previsualizar esta tarea, vea el vídeo que comienza en 09:21.
Siga estos pasos para cambiar el estado del caso de uso de IA en el inventario de modelos y aprobar el modelo:
Vuelva a Cloud Pak for Data, y en el Menú de navegación
, elija Catálogos > Casos de uso de IA.
Abra el caso de uso Modelo de aprobación de hipotecas.
Pulse la pestaña Ciclo de vida para ver que el modelo está ahora en la etapa Validar .
Haga clic en el icono Editar
situado junto a Estado, seleccione Validación completa y haga clic en Actualizar.
Vuelva a Watson OpenScale Panel de información.
Pulse el mosaico Despliegue de modelo de aprobación de hipotecas.
En el menú Acciones, seleccione Aprobar para producción y, a continuación, pulse Aprobar. Esta acción transmite al equipo de operaciones de IA que ahora pueden desplegar el modelo en un espacio de producción designado.
En el menú de navegación Cloud Pak for Data
, seleccione Catalogs > AI use cases.
Para el caso de uso del modelo de aprobación de hipoteca, pulse Ver detalles.
Pulse la pestaña Ciclo de vida . En Seguimiento de modelos, el caso de uso de IA se muestra ahora como evaluado y aprobado en la etapa Validar .
Consulte el Despliegue del modelo de aprobación de hipoteca para ver la hoja de datos capturada por Watson OpenScale.
Cierre la hoja de datos de despliegue del modelo.
Comprueba tu progreso
La imagen siguiente muestra el caso de uso de IA con el modelo en la fase Validar. El modelo está ahora en producción.
Comprueba tu progreso
La imagen siguiente muestra el informe completo del Caso de uso del modelo de aprobación de hipoteca. Ahora puede compartir este informe con sus colegas.
Como científico de datos en Golden Bank, ha creado un modelo de aprobación de hipotecas que evita riesgos imprevistos y trata a todos los solicitantes de forma justa. Ha ejecutado un cuaderno Jupyter para configurar monitores para su modelo de aprendizaje automático que ha desplegado en uso productivo con la confianza de que el modelo funciona eficazmente y según lo previsto.
Limpieza (opcional)
Si desea volver a tomar las guías de aprendizaje en el caso de uso de gobierno de IA, suprima los artefactos siguientes.
Artefacto | Cómo suprimir |
---|---|
Despliegue del modelo de aprobación de hipotecas en el espacio de preproducción de Golden Bank | Suprima un despliegue |
Espacio de preproducción de Golden Bank | Suprimir un espacio de despliegue |
Caso de uso de modelo de aprobación de hipoteca | Borrar un caso de uso del modelo |
Catálogo de aprobación de hipoteca | Suprimir un catálogo |
Proyecto de ejemplo de gobierno de IA | Suprimir un proyecto |
Próximos pasos
Pruebe la guía de aprendizaje sobre cómo orquestar una interconexión de IA con supervisión de modelos.
Regístrese para otro caso de uso.
Pruebe más guías de aprendizaje de creación, despliegue y confianza de modelos.
Cree un modelo utilizando AutoAI.
Explore ejemplos completos de Industry Accelerators.
Más información
Observe cómo utilizar IBM OpenPages para gestionar el modelo a través de su operación de ciclo de vida.
Este vídeo proporciona un método visual para aprender los conceptos y tareas de esta documentación.
Tema padre: Guías de aprendizaje de casos de uso