Inicio rápido: Evaluar un modelo de aprendizaje automático
Tome esta guía de aprendizaje para aprender a evaluar un modelo que predice qué solicitantes califican para hipotecas. Debe evaluar la calidad, la equidad y la explicabilidad del modelo.
- Servicios necesarios
- watsonx.ai
- watsonx.governance
El flujo de trabajo básico incluye estas tareas:
- Abra un proyecto. Los proyectos son donde puede colaborar con otros para trabajar con datos y modelos.
- Crear un modelo. Puede crear un modelo utilizando uno de estos métodos:
- Cree un cuaderno Jupyter y añada código Python .
- Cree un experimento de AutoAI .
- Despliegue el modelo.
- Configure los supervisores de Watson OpenScale utilizando uno de estos métodos:
- Cree un cuaderno de Jupyter.
- Añada el despliegue al panel de control de Watson OpenScale utilizando la interfaz de usuario.
Lea acerca de Watson OpenScale
Watson OpenScale realiza un seguimiento y mide los resultados de los modelos de IA, y ayuda a garantizar que siguen siendo justos, explicables y conformes, independientemente de dónde se hayan creado o se estén ejecutando los modelos. Watson OpenScale también detecta y ayuda a corregir la desviación en la precisión cuando un modelo de IA está en producción.
Vea un vídeo sobre la evaluación de un modelo de aprendizaje automático
Vea este vídeo para obtener una vista preliminar de los pasos de esta guía de aprendizaje. Puede haber pequeñas diferencias en la interfaz de usuario que se muestra en el vídeo. El vídeo está pensado para ser un compañero del tutorial escrito.
Este vídeo proporciona un método visual para aprender los conceptos y tareas de esta documentación.
Pruebe una guía de aprendizaje sobre la evaluación de un modelo de aprendizaje automático
En esta guía de aprendizaje, realizará estas tareas:
- Tarea 1: Crear el proyecto de ejemplo
- Tarea 2: Desplegar el modelo
- Tarea 3: Ejecutar el cuaderno para configurar los supervisores
- Tarea 4: Evaluar el modelo
- Tarea 5: Observar la calidad de los supervisores de modelo
- Tarea 6: Observar la equidad de los supervisores de modelo
- Tarea 7: Observar los supervisores de modelo para la desviación
- Tarea 8: Observar la explicabilidad de los supervisores de modelo
Sugerencias para completar esta guía de aprendizaje
Estas son algunas sugerencias para completar correctamente esta guía de aprendizaje.
Utilizar la imagen en imagen de vídeo
La siguiente imagen animada muestra cómo utilizar las características de imagen en imagen y tabla de contenido de vídeo:
Obtener ayuda en la comunidad
Si necesita ayuda con esta guía de aprendizaje, puede formular una pregunta o encontrar una respuesta en el foro de discusión de la comunidad dewatsonx.
Configurar las ventanas del navegador
Para obtener la experiencia óptima al completar esta guía de aprendizaje, abra Cloud Pak for Data en una ventana de navegador y mantenga abierta esta página de la guía de aprendizaje en otra ventana de navegador para conmutar fácilmente entre las dos aplicaciones. Considere la posibilidad de organizar las dos ventanas del navegador una al lado de la otra para que sea más fácil de seguir.
Tarea 1: Crear el proyecto de ejemplo
Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 00:06.
Esta guía de aprendizaje utiliza un proyecto de ejemplo que contiene un modelo de aprendizaje automático y un cuaderno para configurar los supervisores. Siga estos pasos para crear un proyecto basado en un ejemplo.
Acceda a Evaluar un proyecto de ejemplo de modelo ML en el concentrador de recursos.
Pulse Crear proyecto.
Si se le solicita que asocie el proyecto a una instancia de Cloud Object Storage, seleccione una instancia de Cloud Object Storage de la lista.
Pulse Crear.
Espere a que finalice la importación del proyecto y, a continuación, pulse Ver proyecto nuevo para verificar que el proyecto y los activos se han creado correctamente.
Pulse la pestaña Activos para ver los activos en el proyecto de ejemplo.
Compruebe el progreso
La imagen siguiente muestra el proyecto de ejemplo. Ahora está preparado para iniciar la guía de aprendizaje.
Tarea 2: Desplegar el modelo
Para poder desplegar el modelo, debe promocionarlo a un nuevo espacio de despliegue. Los espacios de despliegue le ayudan a organizar recursos de soporte como, por ejemplo, datos de entrada y entornos; a desplegar modelos o funciones para generar predicciones o soluciones; y a ver o editar detalles de despliegue.
Tarea 2a: Promocionar el modelo a un espacio de despliegue
Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 00:49.
Siga estos pasos para promocionar el modelo a un nuevo espacio de despliegue:
En la pestaña Activos , pulse Modelo de predicción de aprobación de hipoteca para ver el modelo.
En la página de modelo, pulse el icono Promocionar a espacio de despliegue
.
Para Espacio de destino, seleccione Crear un nuevo espacio de despliegue.
Para el nombre del espacio de despliegue, copie y pegue el nombre exactamente como se muestra sin espacios iniciales ni finales:
Golden Bank Preproduction Space
Seleccione un servicio de almacenamiento de la lista.
Seleccione el servicio de aprendizaje automático suministrado en la lista.
Pulse Crear.
Pulse Cerrar.
Para el Espacio de destino, asegúrese de que Golden Bank Preproduction Space está seleccionado.
Marque la opción Ir al modelo en el espacio después de promocionarlo.
Haga clic en Promover.
Comprueba tu progreso
La imagen siguiente muestra el modelo en el espacio de despliegue. Ahora está preparado para crear un despliegue de modelo.
Tarea 2b: Crear un despliegue en línea para el modelo
Para obtener una vista preliminar de esta tarea, vea el vídeo que empieza en 01:30.
Siga estos pasos para crear un despliegue en línea para el modelo:
Cuando se abra el espacio de despliegue, pulse Nuevo despliegue.
Para Tipo de despliegue, seleccione En línea.
Para el Nombre, copie y pegue el nombre de despliegue exactamente como se muestra sin espacios iniciales ni finales:
Mortgage Approval Model Deployment
Pulse Crear.
Espere a que se complete el despliegue del modelo. Cuando el modelo se haya desplegado correctamente, visualice el despliegue para ver el punto final de puntuación y, opcionalmente, pruebe el modelo.
Comprueba tu progreso
La imagen siguiente muestra el despliegue del modelo. Ahora está preparado para ejecutar el cuaderno para configurar los supervisores.
Tarea 3: Ejecutar el cuaderno para configurar los supervisores
Para previsualizar esta tarea, vea el vídeo que comienza en 01:55.
Ejecute el bloc de notas incluido en el proyecto de ejemplo para:
- Capte el modelo y los despliegues.
- Configure Watson OpenScale.
- Cree el proveedor de servicios y la suscripción para el servicio de aprendizaje automático.
- Configure el supervisor de calidad.
- Configure el supervisor de equidad.
- Configure la explicabilidad.
Siga estos pasos para ejecutar el cuaderno incluido en el proyecto de ejemplo. Este cuaderno configura supervisores para el modelo, que también se puede configurar a través de la interfaz de usuario. Sin embargo, es más rápido y menos propenso a errores configurarlos con un cuaderno. Tómese un tiempo para leer los comentarios en el cuaderno, que explican el código en cada celda.
En el Menú de navegación
, seleccione Proyectos > Ver todos los proyectos.
Abra el proyecto Evaluar un modelo ML .
Haga clic en la pestaña Activos y, a continuación, vaya a Blocs de notas.
Abra el cuaderno monitor-wml-model-with-watson-openscale .
Como el cuaderno está en modo de sólo lectura, haga clic en el icono Editar
para poner el cuaderno en modo de edición.
Cuando ha importado el proyecto desde el concentrador de recursos, la primera celda de este cuaderno contiene la señal de acceso del proyecto. Si este cuaderno no contiene una primera celda con una señal de acceso de proyecto, para generar la señal, en el menú Más , seleccione Insertar señal de proyecto. Esta acción inserta una celda nueva como la primera celda del cuaderno que contiene la señal de proyecto.
En la sección Proporcionar la clave de API de IBM Cloud , debe pasar sus credenciales a la API de Watson Machine Learning utilizando una clave de API. Si todavía no tiene una clave de API guardada, siga estos pasos para crear una clave de API.
Acceda a la página de claves API de la consola IBM Cloud.
Pulse Crear una clave de API de IBM Cloud. Si tiene alguna clave de API existente, el botón se puede etiquetar como Crear.
Escriba un nombre y una descripción.
Pulse Crear.
Copie la clave de API.
Descargue la clave de API para su uso futuro.
Vuelva al cuaderno y pegue la clave de API en el campo ibmcloud_api_key .
En 3. Modelo y despliegue , verifique los valores asignados a las variables nombre_espacio, nombre_modeloy nombre_despliegue .
Pulse Celda > Ejecutar todo para ejecutar todas las celdas del cuaderno. Como alternativa, haga clic en el icono Ejecutar
situado junto a cada celda para ejecutar el cuaderno celda por celda y explorar cada celda y su resultado.
El cuaderno tarda de 1 a 3 minutos en completarse. Puede supervisar el progreso celda por celda observando el asterisco "En [
*
]" cambiando a un número, por ejemplo, "En [1
]".Si encuentra algún error durante la ejecución del cuaderno, intente estas sugerencias de resolución de problemas:
Pulse Kernel > Reiniciar y borrar salida para reiniciar el kernel y, a continuación, vuelva a ejecutar el cuaderno.
Suprima los despliegues de Watson OpenScale existentes y suministre una nueva instancia de servicio.
Verifique que ha creado el espacio de despliegue y el nombre de despliegue copiando y pegando el nombre de artefacto especificado exactamente sin espacios iniciales o finales.
Comprueba tu progreso
La imagen siguiente muestra el cuaderno cuando la ejecución se ha completado. El cuaderno configura supervisores para el modelo, por lo que ahora puede ver el despliegue en Watson OpenScale.
Tarea 4: Evaluar el modelo
Para previsualizar esta tarea, vea el vídeo que comienza en 03:35.
Siga estos pasos para descargar datos reservados y utilizar esos datos para evaluar el modelo en Watson OpenScale:
Pulse el proyecto Evaluar un modelo ML en la ruta de navegación.
En la pestaña Activos , pulse Datos > Activos de datos.
Haga clic en el menú Desbordamiento
del activo de datos GoldenBank_HoldoutData.csv y seleccione Descargar. Para validar que el modelo funciona según sea necesario, necesita un conjunto de datos etiquetados, que se han mantenido fuera del entrenamiento del modelo. Este archivo CSV contiene los datos de reserva.
Inicie Watson OpenScale.
En el Menú de navegación
, seleccione Servicios > Instancias de servicio.
Pulse la instancia de Watson OpenScale para abrir la página de instancia de servicio. Si se le solicita, inicie sesión utilizando las mismas credenciales que ha utilizado para registrarse en Cloud Pak for Data.
Nota:La instancia puede tener un nombre diferente, como por ejemplo `watsonx.governance-xx`. En la página de instancia de servicio de Watson OpenScale , pulse Iniciar Watson OpenScale.
En el Panel de control de detalles, pulse el mosaico Despliegue del modelo de aprobación de hipotecas.
En el menú Acciones, seleccione Evaluar ahora.
En la lista de opciones de importación, seleccione desde archivo CSV.
Arrastre el archivo de datos Golden Bank_HoldoutData.csv que ha descargado desde el proyecto en el panel lateral.
Pulse Cargar y evaluar y espere a que finalice la evaluación.
Comprueba tu progreso
La imagen siguiente muestra el resultado de la evaluación para el modelo desplegado en Watson OpenScale. Ahora que ha evaluado el modelo, está preparado para observar la calidad del modelo.
Tarea 5: Observar la calidad de los supervisores de modelo
Para previsualizar esta tarea, vea el vídeo que comienza en 04:40.
El supervisor de calidad de Watson OpenScale genera un conjunto de métricas para evaluar la calidad del modelo. Puede utilizar estas métricas de calidad para determinar lo bien que predice el modelo los resultados. Cuando se complete la evaluación que utiliza los datos reservados, siga estos pasos para observar la calidad o precisión del modelo:
En la sección Calidad, haga clic en el icono Configurar
. Aquí puede ver que el umbral de calidad que está configurado para este monitor es del 70% y que la medición de calidad que se está utilizando es área bajo la curva ROC.
Pulse Ir a resumen de modelo para volver a la pantalla de detalles de modelo.
En la sección Calidad, haz clic en el icono Detalles
para ver los resultados detallados de la calidad del modelo. Aquí puede ver una serie de cálculos de métricas de calidad y una matriz de confusión que muestra las decisiones correctas del modelo junto con falsos positivos y falsos negativos. El área calculada bajo la curva ROC es 0.9 o superior, lo que supera el umbral 0.7 , por lo que el modelo cumple sus requisitos de calidad.
Pulse Despliegue de modelo de aprobación de hipoteca en la ruta de navegación para volver a la pantalla de detalles del modelo.
Comprueba tu progreso
La imagen siguiente muestra los detalles de calidad en Watson OpenScale. Ahora que ha observado la calidad del modelo, puede observar la equidad del modelo.
Tarea 6: Observar la equidad en los supervisores del modelo
Para previsualizar esta tarea, vea el vídeo que comienza en 05:41.
El supervisor de equidad de Watson OpenScale genera un conjunto de métricas para evaluar la equidad del modelo. Puede utilizar las métricas de equidad para determinar si el modelo produce resultados sesgados. Siga estos pasos para observar la equidad del modelo:
En la sección Igualdad, haz clic en el icono Configurar
. Aquí se ve que se está revisando el modelo para garantizar que los solicitantes estén siendo tratados de manera justa independientemente de su género. Las mujeres son identificadas como el grupo supervisado para el que se está midiendo la equidad y el umbral para la equidad es de al menos el 80 %. El supervisor de equidad utiliza el método de impacto dispar para determinar la equidad. El impacto dispar compara el porcentaje de resultados favorables para un grupo supervisado con el porcentaje de resultados favorables para un grupo de referencia.
Pulse Ir a resumen de modelo para volver a la pantalla de detalles de modelo.
En la sección Justicia, haga clic en el icono Detalles
para ver los resultados detallados de la justicia del modelo. Aquí puede ver el porcentaje de solicitantes masculinos y femeninos que se están aprobando automáticamente, junto con una puntuación de equidad de más del 100%, por lo que el rendimiento del modelo supera con creces el umbral de equidad del 80% requerido.
Tenga en cuenta los conjuntos de datos identificados. Para asegurarse de que las métricas de equidad son más precisas, Watson OpenScale utiliza la perturbación para determinar los resultados en los que sólo se cambian los atributos protegidos y las entradas de modelo relacionadas, mientras que otras características siguen siendo las mismas. La perturbación cambia los valores de la característica del grupo de referencia al grupo supervisado o viceversa. Estas protecciones adicionales se utilizan para calcular la equidad cuando se utiliza el conjunto de datos "equilibrado", pero también puede ver los resultados de la equidad utilizando solo los datos de entrenamiento de la carga útil o del modelo. Puesto que el modelo se está comportando de forma justa, no es necesario entrar en detalles adicionales para esta métrica.
Pulse la ruta de navegación Despliegue de modelo de aprobación de hipoteca para volver a la pantalla de detalles del modelo.
Comprueba tu progreso
La imagen siguiente muestra los detalles de equidad en Watson OpenScale. Ahora que ha observado la equidad del modelo, puede observar la explicabilidad del modelo.
Tarea 7: Observar los supervisores de modelo para la desviación
Para previsualizar esta tarea, vea el vídeo que comienza en 07:25.
El supervisor de desviación de Watson OpenScale mide los cambios en los datos a lo largo del tiempo para garantizar resultados coherentes para el modelo. Utilice las evaluaciones de desviación para identificar los cambios en la salida del modelo, la precisión de las predicciones y la distribución de los datos de entrada. Siga estos pasos para observar la desviación del modelo:
En la sección Drift, haz clic en el icono Configurar
. Aquí puede ver los umbrales de desviación. La desviación de resultados mide el cambio en la distribución de confianza del modelo. La desviación de la calidad del modelo mide la disminución de la precisión comparando la precisión estimada del tiempo de ejecución con la precisión del entrenamiento. La desviación de características mide el cambio en la distribución de valores para características importantes. La configuración también muestra el número de características seleccionadas y las características más importantes.
Pulse Ir a resumen de modelo para volver a la pantalla de detalles de modelo.
En la sección Deriva, haga clic en el icono Detalles
para ver los resultados detallados de la deriva del modelo. Puede ver el historial de cómo cambia cada puntuación de métrica a lo largo del tiempo con un gráfico de serie temporal. Los valores inferiores son mejores, por lo que en este caso, los resultados están por encima de los umbrales superiores establecidos en la configuración. A continuación, vea los detalles sobre cómo se calculan los resultados de las puntuaciones y las derivaciones de características. También puede ver detalles sobre cada característica para comprender cómo contribuyen a las puntuaciones que genera Watson OpenScale .
Pulse la ruta de navegación Despliegue de modelo de aprobación de hipoteca para volver a la pantalla de detalles del modelo.
Comprueba tu progreso
La imagen siguiente muestra los detalles de desviación en Watson OpenScale. Ahora que ha observado la desviación del modelo, puede observar la explicabilidad del modelo.
Tarea 8: Observar la explicabilidad de los supervisores de modelo
Para previsualizar esta tarea, vea el vídeo que comienza en 08:46.
También es importante entender cómo llegó el modelo a su decisión. Esta comprensión es necesaria tanto para explicar las decisiones a las personas implicadas en la aprobación del préstamo como para asegurarse de que los propietarios del modelo sean válidos. Para comprender estas decisiones, siga estos pasos para observar la explicabilidad del modelo:
En el panel de navegación izquierdo, haga clic en el icono Explicar una transacción
.
Seleccione Despliegue de modelo de aprobación de hipoteca para ver una lista de transacciones.
Para cualquier transacción, pulse Explicar en la columna Acciones. Aquí se ve la explicación detallada de esta decisión. Verá las entradas más importantes para el modelo junto con la importancia de cada una para el resultado final. Las barras azules representan entradas que tienden a dar soporte a la decisión del modelo, mientras que las barras rojas muestran entradas que podrían haber llevado a otra decisión. Por ejemplo, un solicitante podría tener ingresos suficientes para ser aprobado de otro modo, pero su pobre historial de crédito y su elevada deuda juntos llevan al modelo a rechazar la solicitud. Revise esta explicación para evaluar la base de la decisión del modelo.
(Opcional) Si desea profundizar más en cómo el modelo ha tomado su decisión, pulse la pestaña Inspeccionar . Utilice la característica Inspeccionar para analizar la decisión de buscar áreas de sensibilidad en las que un pequeño cambio en unas pocas entradas daría como resultado una decisión diferente, y puede probar la sensibilidad por sí mismo alterando temporalmente algunas de las entradas reales con alternativas para ver si estas afectarían al resultado.
Comprueba tu progreso
La imagen siguiente muestra la explicabilidad de una transacción en Watson OpenScale. Ha determinado que el modelo es preciso y trata a todos los solicitantes de forma justa. Ahora, puede avanzar el modelo a la siguiente fase de su ciclo de vida.
Próximos pasos
Pruebe estas guías de aprendizaje adicionales para obtener más experiencia práctica con la evaluación de modelos:
Recursos adicionales
Ver más vídeos.
Busque conjuntos de datos de ejemplo, proyectos, modelos, solicitudes y cuadernos en el concentrador de recursos para obtener experiencia práctica:
Libros de notas que puedes añadir a tu proyecto para empezar a analizar datos y construir modelos.
Proyectos que puede importar que contengan cuadernos, conjuntos de datos, avisos y otros activos.
Conjuntos de datos que puedes añadir a tu proyecto para refinar, analizar y construir modelos.
Prompts que puedes utilizar en el Prompt Lab para preguntar a un modelo de cimentación.
Modelos de fundamentos que puedes utilizar en el Prompt Lab.
Tema principal: Guías de aprendizaje de inicio rápido