Inicio rápido: Evaluar un despliegue en espacios

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 00:06.

Necesita un proyecto para almacenar los elementos utilizados para crear el modelo. Por ejemplo, los datos de entrenamiento, la experiencia de AutoAI o el cuaderno Jupyter y el modelo guardado. Siga estos pasos para crear un proyecto basado en un ejemplo:

1. Acceda a Evaluar un proyecto de ejemplo de modelo ML en el concentrador de recursos.

2. Pulse Crear proyecto.

3. Si se le solicita que asocie el proyecto a una instancia de Cloud Object Storage, seleccione una instancia de Cloud Object Storage de la lista.

4. Pulse Crear.

5. Espere a que finalice la importación del proyecto y, a continuación, pulse Ver proyecto nuevo para verificar que el proyecto y los activos se han creado correctamente.

6. Pulse la pestaña Activos para ver los activos en el proyecto de ejemplo.

7. Vea el Modelo de predicción de aprobación de hipoteca. Este modelo predice si un solicitante de hipoteca debe aprobarse basándose en varios factores, como su historial de crédito, deuda total, ingresos, importe de préstamo e historial de empleo.

8. Vuelva a la pestaña Activos del proyecto.

Para poder desplegar el modelo, debe promocionarlo a un nuevo espacio de despliegue. Los espacios de despliegue le ayudan a organizar recursos de soporte como, por ejemplo, datos de entrada y entornos; a desplegar modelos o funciones para generar predicciones o soluciones; y a ver o editar detalles de despliegue. La siguiente tarea es promocionar los datos de evaluación y el modelo a un espacio de despliegue y, a continuación, crear un despliegue en línea.

Para previsualizar esta tarea, vea el vídeo que comienza en 01:19.

Siga estos pasos para configurar evaluaciones en este espacio de despliegue:

Para previsualizar esta tarea, vea el vídeo que comienza en 06:22.

Siga estos pasos para utilizar datos reservados para evaluar el modelo:

1. En el menú Acciones, seleccione Evaluar ahora.

2. En la lista de opciones de importación, seleccione desde archivo CSV.

3. Arrastre el archivo de datos Golden Bank_HoldoutData.csv que ha descargado desde el proyecto en el panel lateral.

4. Pulse Cargar y evaluar y espere a que finalice la evaluación.

5. Cuando finalice la evaluación, verá el número de pruebas ejecutadas, las pruebas superadas y las pruebas que han fallado. Desplácese para ver los resultados de Equidad, Calidad, Desviacióny Explicación global.

Para previsualizar esta tarea, vea el vídeo que comienza en 06:36.

El supervisor de calidad de Watson OpenScale genera un conjunto de métricas para evaluar la calidad del modelo. Puede utilizar estas métricas de calidad para determinar lo bien que predice el modelo los resultados. Cuando se complete la evaluación que utiliza los datos reservados, siga estos pasos para observar la calidad o precisión del modelo:

1. En la sección Calidad, haga clic en el icono Configurar . Aquí puede ver que el umbral de calidad que está configurado para este monitor es del 70% y que la medición de calidad que se está utilizando es área bajo la curva ROC.

2. Pulse la X para cerrar la ventana y volver a la pantalla de evaluación del modelo.

3. En la sección Calidad, haz clic en el icono Detalles para ver los resultados detallados de la calidad del modelo. Aquí puede ver una serie de cálculos de métricas de calidad y una matriz de confusión que muestra las decisiones correctas del modelo junto con falsos positivos y falsos negativos. El área calculada bajo la curva ROC es 0.9 o superior, lo que supera el umbral 0.7 , por lo que el modelo cumple sus requisitos de calidad.

4. Pulse Volver a resumen para volver a la pantalla de detalles del modelo.

Para previsualizar esta tarea, vea el vídeo que comienza en 07:20.

El supervisor de equidad de Watson OpenScale genera un conjunto de métricas para evaluar la equidad del modelo. Puede utilizar las métricas de equidad para determinar si el modelo produce resultados sesgados. Siga estos pasos para observar la equidad del modelo:

1. En la sección Igualdad, haz clic en el icono Configurar . Aquí se ve que se está revisando el modelo para garantizar que los solicitantes estén siendo tratados de manera justa independientemente de su género. Las mujeres son identificadas como el grupo supervisado para el que se está midiendo la equidad y el umbral para la equidad es de al menos el 80 %. El supervisor de equidad utiliza el método de impacto dispar para determinar la equidad. El impacto dispar compara el porcentaje de resultados favorables para un grupo supervisado con el porcentaje de resultados favorables para un grupo de referencia.

2. Pulse la X para cerrar la ventana y volver a la pantalla de evaluación del modelo.

3. En la sección Justicia, haga clic en el icono Detalles para ver los resultados detallados de la justicia del modelo. Aquí puede ver el porcentaje de solicitantes masculinos y femeninos que se están aprobando automáticamente, junto con una puntuación de equidad de más del 100%, por lo que el rendimiento del modelo supera con creces el umbral de equidad del 80% requerido.

4. Tenga en cuenta los conjuntos de datos identificados. Para asegurarse de que las métricas de equidad son más precisas, Watson OpenScale utiliza la perturbación para determinar los resultados en los que sólo se cambian los atributos protegidos y las entradas de modelo relacionadas, mientras que otras características siguen siendo las mismas. La perturbación cambia los valores de la característica del grupo de referencia al grupo supervisado o viceversa. Estas protecciones adicionales se utilizan para calcular la equidad cuando se utiliza el conjunto de datos "equilibrado", pero también puede ver los resultados de la equidad utilizando solo los datos de entrenamiento de la carga útil o del modelo. Puesto que el modelo se está comportando de forma justa, no es necesario entrar en detalles adicionales para esta métrica.

   

5. Pulse Volver a resumen para volver a la pantalla de detalles del modelo.

Para previsualizar esta tarea, vea el vídeo que comienza en 08:25.

El supervisor de desviación de Watson OpenScale mide los cambios en los datos a lo largo del tiempo para garantizar resultados coherentes para el modelo. Utilice las evaluaciones de desviación para identificar los cambios en la salida del modelo, la precisión de las predicciones y la distribución de los datos de entrada. Siga estos pasos para observar la desviación del modelo:

1. En la sección Drift, haz clic en el icono Configurar . Aquí puede ver los umbrales de desviación. La desviación de resultados mide el cambio en la distribución de confianza del modelo. La desviación de la calidad del modelo mide la disminución de la precisión comparando la precisión estimada del tiempo de ejecución con la precisión del entrenamiento. La desviación de características mide el cambio en la distribución de valores para características importantes. La configuración también muestra el número de características seleccionadas y las características más importantes.

2. Pulse la X para cerrar la ventana y volver a la pantalla de evaluación del modelo.

3. En la sección Deriva, haga clic en el icono Detalles para ver los resultados detallados de la deriva del modelo. Puede ver el historial de cómo cambia cada puntuación de métrica a lo largo del tiempo con un gráfico de serie temporal. Los valores inferiores son mejores, por lo que en este caso, los resultados están por encima de los umbrales superiores establecidos en la configuración. A continuación, vea los detalles sobre cómo se calculan los resultados de las puntuaciones y las derivaciones de características. También puede ver detalles sobre cada característica para comprender cómo contribuyen a las puntuaciones que genera Watson OpenScale .

4. Pulse Volver a resumen para volver a la pantalla de detalles del modelo.

Para previsualizar esta tarea, vea el vídeo que comienza en 09:10.

También es importante entender cómo llegó el modelo a su decisión. Esta comprensión es necesaria tanto para explicar las decisiones a las personas implicadas en la aprobación del préstamo como para asegurarse de que los propietarios del modelo sean válidos. Para comprender estas decisiones, siga estos pasos para observar la explicabilidad del modelo:

1. Pulse la pestaña Transacciones .

2. En el gráfico, seleccione un periodo de tiempo para ver una lista de transacciones durante ese periodo.

3. Para cualquier transacción, pulse Explicar en la columna Acciones. Aquí se ve la explicación detallada de esta decisión. Verá las entradas más importantes para el modelo junto con la importancia de cada una para el resultado final. Las barras azules representan entradas que tienden a dar soporte a la decisión del modelo, mientras que las barras rojas muestran entradas que podrían haber llevado a otra decisión. Por ejemplo, un solicitante podría tener ingresos suficientes para ser aprobado de otro modo, pero su pobre historial de crédito y su elevada deuda juntos llevan al modelo a rechazar la solicitud. Revise esta explicación para evaluar la base de la decisión del modelo.

4. Opcional: Si desea profundizar más en cómo el modelo ha tomado su decisión, pulse la pestaña Inspeccionar . Utilice la característica Inspeccionar para analizar la decisión de buscar áreas de sensibilidad en las que un pequeño cambio en unas pocas entradas daría como resultado una decisión diferente, y puede probar la sensibilidad por sí mismo alterando temporalmente algunas de las entradas reales con alternativas para ver si estas afectarían al resultado. Pulse Ejecutar análisis para que Watson OpenScale revele los cambios mínimos necesarios para entregar un resultado diferente. Seleccione Analizar sólo características controlables para limitar los cambios sólo a las características controlables.