La opción de configuración automática para las evaluaciones de modelos de aprendizaje automático configura un entorno de aprendizaje automático, una base de datos y un modelo de muestra. Siga los pasos de la visita guiada para aprender a evaluar el modelo de muestra. Una vez finalizada la configuración, puede añadir su propio modelo al panel de control.
Modelo de ejemplo
La configuración automática utiliza el conjunto de datos de muestra German Credit Risk para demostrar las características clave de las evaluaciones de modelos.
Visión general de los datos de ejemplo
Los datos de la muestra Riesgo de crédito alemán proporcionan una colección de registros para los clientes bancarios que se han utilizado para entrenar el modelo de muestra. Contiene 20 atributos para cada solicitante de un préstamo. Los modelos de ejemplo suministrados como parte de la configuración automática se entrenan para predecir el nivel de riesgo de crédito para nuevos clientes. Dos de los atributos considerados para la predicción-sexo y edad-se pueden probar para el sesgo para asegurarse de que los resultados son coherentes con respecto al género o la edad de los clientes.
Para evaluar los resultados, estos se dividen en grupos. Los grupos de referencia son los grupos que se consideran más propensos a tener resultados positivos. En este caso, los grupos de referencia son clientes masculinos y clientes mayores de 25 años. Los grupos supervisados son los grupos que desea revisar para asegurarse de que los resultados no difieren mucho de los resultados de los grupos supervisados. En este caso, los grupos supervisados son mujeres y clientes de 19 a 25 años.
Ejecución de la configuración automática
Siga estos pasos para ejecutar la configuración automática:
- Inicie Watson OpenScale.
- Elija la opción Configuración automática.
El proceso tarda unos 10 minutos en completarse. Durante la configuración se configuran tres despliegues:
| Modelo | Enlace | Descripción |
|---|---|---|
| GermanCreditRiskModelPreProd | Preproducción, aprobado | Este despliegue representa el modelo aprobado actual que se está evaluando en el entorno interno. |
| GermanCreditRiskModelChallenger | Preproducción | El modelo de retador se despliega para comparar el rendimiento y otros atributos con el despliegue del modelo de preproducción aprobado. |
| GermanCreditRiskModel | Producción | Entre el modelo de preproducción aprobado y el modelo de retador, se selecciona el modelo que ofrece resultados más favorables para la producción y se despliega desde el espacio de producción. |
Una vez finalizada la configuración, siga la visita guiada para conocer las características de las evaluaciones de los modelos.
Características de las visitas guiadas
La visita guiada demuestra estas características:
- Introducción a la interfaz de usuario (IU): Las cuatro áreas principales de la interfaz de usuario incluyen Detalles, Explicaciones, Configuración y Soporte.
- Supervisión y visualización de los resultados del modelo de riesgo de crédito alemán: Utilice supervisores predefinidos para evaluar la equidad, la calidad y la desviación de su modelo. También puede utilizar supervisores personalizados para la evaluación de modelos.
- Exploración del supervisor de equidad: Utilice el supervisor de equidad para buscar resultados sesgados del modelo. Si se encuentra un problema de equidad, se desencadena una alerta basada en umbrales configurables.
- Exploración de conjuntos de datos: Conmute entre conjuntos de datos equilibrados, de carga útil, de formación y sin sesgo para ver cómo afectan a la puntuación de equidad del modelo.
- Introducción a las transacciones: Revise las transacciones del conjunto de datos de carga útil para ver el sesgo de grupo y el sesgo individual.
- Explicación de los resultados del modelo: Comprenda las características que han llevado a la predicción del modelo a generar confianza en el modelo. Aprenda también a cambiar los valores de las características para obtener resultados del modelo más favorables.
- Exploración del supervisor de desviaciones: Utilice el supervisor de desviaciones para determinar si el proceso de datos del modelo está causando una caída en la precisión.
- Revisión de transacciones: Revise la lista de transacciones para investigar la caída en la precisión.
Cómo recorrer una página específica
Para utilizar la visita guiada de configuración automática para una página específica, siga estos pasos:
- Abre la página para la que te gustaría seguir la visita guiada.
- Abra la pestaña Soporte y seleccione Recorrer esta página.
Restablecimiento de la visita guiada
Para restablecer la visita guiada de configuración automática, abra la pestaña Soporte y seleccione Restablecer configuración automática.
Más información
Configuración de evaluaciones de modelos con configuración manual
Configuración de evaluaciones de modelos con configuración avanzada
Tema principal: Opciones de configuración para evaluaciones de modelos