0 / 0
Volver a la versión inglesa de la documentación
Inicio rápido: Evaluar un despliegue en espacios
Última actualización: 28 nov 2024
Inicio rápido: Evaluar un despliegue en espacios

Puede evaluar los despliegues de modelo en un espacio de despliegue para obtener información sobre el rendimiento del modelo. Al configurar evaluaciones, puede analizar los resultados de la evaluación y modelar registros de transacciones directamente en los espacios.

Servicios necesarios
watsonx.governance
watsonx.ai

El flujo de trabajo básico incluye estas tareas:

  1. Abra un proyecto. Los proyectos son la ubicación donde puede colaborar con otros para trabajar con los datos.
  2. Cree y guarde un modelo de aprendizaje automático. Existen diversas herramientas para crear un modelo, como por ejemplo, un experimento de AutoAI , un cuaderno de Jupyter, un flujo de SPSS Modeler o un conducto. Consulte Análisis de datos y trabajo con modelos.
  3. Despliegue y pruebe el modelo en un espacio de despliegue.
  4. Configure evaluaciones en el espacio de despliegue.
  5. Evalúe el rendimiento del modelo.

Lea sobre cómo evaluar despliegues en espacios

watsonx.governance evalúa los despliegues de modelo para ayudarle a medir el rendimiento y comprender las predicciones de modelo. Cuando configura evaluaciones de modelo, watsonx.governance genera métricas para cada evaluación que proporcionan distintos conocimientos que puede revisar. watsonx.governance también registra las transacciones que se procesan durante las evaluaciones para ayudarle a comprender cómo se determinan las predicciones del modelo.

Más información sobre la evaluación de despliegues en espacios

Más información sobre otras formas de evaluar modelos en Watson OpenScale

Vea un vídeo sobre cómo evaluar los despliegues en espacios

Ver vídeo Vea este vídeo para obtener una vista preliminar de los pasos de esta guía de aprendizaje. Puede haber pequeñas diferencias en la interfaz de usuario que se muestra en el vídeo. El vídeo está pensado para ser un compañero del tutorial escrito.

Este vídeo proporciona un método visual para aprender los conceptos y tareas de esta documentación.


Pruebe una guía de aprendizaje para evaluar despliegues en espacios

En esta guía de aprendizaje, realizará estas tareas:





Sugerencias para completar esta guía de aprendizaje
Estas son algunas sugerencias para completar correctamente esta guía de aprendizaje.

Utilizar la imagen en imagen de vídeo

Sugerencia: Inicie el vídeo y, a continuación, a medida que se desplaza por el tutorial, el vídeo pasa al modo de imagen en imagen. Cierre la tabla de contenido de vídeo para obtener la mejor experiencia con la imagen en imagen. Puede utilizar el modo de imagen en imagen para poder seguir el vídeo mientras completa las tareas de este tutorial. Pulse las indicaciones de fecha y hora para cada tarea a seguir.

La siguiente imagen animada muestra cómo utilizar las características de imagen en imagen y tabla de contenido de vídeo:

Cómo utilizar la imagen en la imagen y los capítulos

Obtener ayuda en la comunidad

Si necesitas ayuda con este tutorial, puedes hacer una pregunta o encontrar una respuesta en el foro de debate de la Comunidadwatsonx.

Configurar las ventanas del navegador

Para obtener la experiencia óptima al completar esta guía de aprendizaje, abra Cloud Pak for Data en una ventana de navegador y mantenga abierta esta página de la guía de aprendizaje en otra ventana de navegador para conmutar fácilmente entre las dos aplicaciones. Considere la posibilidad de organizar las dos ventanas del navegador una al lado de la otra para que sea más fácil de seguir.

Guía de aprendizaje en paralelo e interfaz de usuario

Sugerencia: Si encuentra una visita guiada al completar esta guía de aprendizaje en la interfaz de usuario, pulse Quizás más tarde.



Tarea 1: Crear un proyecto basado en un ejemplo

vídeo tutorial de vista previa ' Para previsualizar esta tarea, vea el vídeo que comienza en 00:06.

Necesita un proyecto para almacenar los elementos utilizados para crear el modelo. Por ejemplo, los datos de entrenamiento, la experiencia de AutoAI o el cuaderno Jupyter y el modelo guardado. Siga estos pasos para crear un proyecto basado en un ejemplo:

  1. Acceda al proyecto de ejemplo Evaluar un modelo ML en el hub de recursos.

  2. Pulse Crear proyecto.

  3. Si se le solicita que asocie el proyecto a una instancia de Cloud Object Storage, seleccione una instancia de Cloud Object Storage de la lista.

  4. Pulse Crear.

  5. Espere a que finalice la importación del proyecto y, a continuación, pulse Ver proyecto nuevo para verificar que el proyecto y los activos se han creado correctamente.

  6. Pulse la pestaña Activos para ver los activos en el proyecto de ejemplo.

  7. Vea el Modelo de predicción de aprobación de hipoteca. Este modelo predice si un solicitante de hipoteca debe aprobarse basándose en varios factores, como su historial de crédito, deuda total, ingresos, importe de préstamo e historial de empleo.

  8. Vuelva a la pestaña Activos del proyecto.

Icono de punto de comprobación ' Comprueba tu progreso

La imagen siguiente muestra el proyecto de ejemplo. Ahora está preparado para iniciar la guía de aprendizaje.

Proyecto de ejemplo




Tarea 2: Desplegar el modelo

Para poder desplegar el modelo, debe promocionarlo a un nuevo espacio de despliegue. Los espacios de despliegue le ayudan a organizar recursos de soporte como, por ejemplo, datos de entrada y entornos; a desplegar modelos o funciones para generar predicciones o soluciones; y a ver o editar detalles de despliegue. La siguiente tarea es promocionar los datos de evaluación y el modelo a un espacio de despliegue y, a continuación, crear un despliegue en línea.

Tarea 2a: Descargar los datos de evaluación

vídeo tutorial de vista previa ' Para previsualizar esta tarea, vea el vídeo que comienza en 00:34.

Para validar que el modelo funciona según sea necesario, necesita un conjunto de datos etiquetados, que se han mantenido fuera del entrenamiento del modelo. El proyecto de ejemplo incluye los datos de evaluación (GoldenBank_HoldoutData.csv), que puede cargar para realizar la evaluación en el espacio de despliegue más adelante. Siga estos pasos para descargar el conjunto de datos:

  1. Haga clic en el menú de desbordamiento ' Menú de desbordamiento ' para el activo de datos GoldenBank_HoldoutData.csv y seleccione Descargar.

  2. Guarde el activo de datos en su ordenador.

Tarea 2b: Promocionar el modelo a un espacio de despliegue

vídeo tutorial de vista previa ' Para previsualizar esta tarea, vea el vídeo que comienza en 00:42.

Para poder desplegar el modelo, debe promocionarlo a un espacio de despliegue. Siga estos pasos para promocionar el modelo a un espacio de despliegue:

  1. En la pestaña Activos, haga clic en el menú Desbordamiento ' Menú de desbordamiento para el modelo Modelo de aprobación de hipotecas y seleccione Promover al espacio.

  2. Seleccione un espacio de despliegue existente. Si no tiene un espacio de despliegue:

    1. Pulse Crear un nuevo espacio de despliegue.

    2. Para el nombre, escriba: Golden Bank Preproduction Space

    3. Seleccione un servicio de almacenamiento.

    4. Pulse Añadir servicio de aprendizaje automático.

    5. Seleccione Desarrollo para la Etapa de despliegue.

    6. Pulse Crear.

    7. Cierre la notificación cuando el espacio esté listo.

  3. Seleccione la opción Ir al modelo en el espacio después de promocionarlo .

  4. Haga clic en Promover.

Nota: Si no ha seleccionado la opción para ir al modelo en el espacio después de promocionarlo, puede utilizar el menú de navegación para ir a Despliegues para seleccionar el espacio de despliegue y el modelo.

Icono de punto de comprobación ' Comprueba tu progreso

La imagen siguiente muestra el modelo en el espacio de despliegue.

La imagen siguiente muestra el modelo en el espacio de despliegue.

Tarea 2c: Crear un despliegue de modelo

vídeo tutorial de vista previa ' Para previsualizar esta tarea, vea el vídeo que comienza en 01:02.

Ahora que el modelo está en el espacio de despliegue, siga estos pasos para crear el despliegue del modelo:

  1. Con el modelo abierto, pulse Nuevo despliegue.

    1. Seleccione En línea como Tipo de despliegue.

    2. Para el nombre de despliegue, escriba: Mortgage Approval Model Deployment

    3. Pulse Crear.

  2. Cuando se haya completado el despliegue, pulse el nombre del despliegue para ver la página de detalles del despliegue.

  3. Revise el punto final de puntuación, que puede utilizar para acceder a este modelo mediante programación en las aplicaciones.

Icono de punto de comprobación ' Comprueba tu progreso

La imagen siguiente muestra el despliegue del modelo en el espacio de despliegue.

La imagen siguiente muestra el despliegue del modelo en el espacio de despliegue.




Tarea 3: Configurar evaluaciones en un espacio de despliegue

vídeo tutorial de vista previa ' Para previsualizar esta tarea, vea el vídeo que comienza en 01:19.

Siga estos pasos para configurar evaluaciones en este espacio de despliegue:

Tarea 3a: Configurar los detalles del modelo

Primero. siga estos pasos para configurar los detalles del modelo.

  1. En el despliegue, pulse la pestaña Evaluaciones .
  2. Pulse Configurar valores de evaluación de OpenScale.

Especificar entrada del modelo

Los datos de entrenamiento contienen datos numéricos y categóricos que son adecuados para un modelo de clasificación binario.

  1. En Tipos de almacenamiento, seleccione Gestionado por el sistema.
  2. En Tipo de datos, seleccione Numérico/categórico.
  3. En Tipo de algoritmo, seleccione Clasificación binaria.
  4. Haga clic en Ver resumen.
  5. Lee el resumen y haz clic en Guardar y continuar.

Conectar a los datos de entrenamiento

Los datos de entrenamiento se almacenan en una instancia de Db2 Warehouse on Cloud .

  1. En Método de configuración, seleccione Utilizar configuración manual.
  2. Pulse Siguiente.
  3. Para la opción Datos de formación, seleccione Base de datos o almacenamiento en la nube.
  4. Seleccione Db2 para la ubicación.
  5. Proporcione la información de conexión:
    • Nombre de host o dirección IP: db2w-ruggyab.us-south.db2w.cloud.ibm.com
    • Puerto SSL: 50001
    • Base de datos: BLUDB
    • Nombre de usuario: CPDEMO
    • Contraseña: DataFabric@2022IBM
  6. Pulse Conectar.
  7. Seleccione AI_MORTGAGE para el esquema.
  8. Seleccione HIPOTECAGE_APPROVAL_TABLE para la tabla.
  9. Pulse Siguiente.

Seleccione las características y etiquete las columnas

La columna MORTGAGE_APPROVAL indica si el solicitante está aprobado y las columnas de características contienen información que contribuye a la decisión de aprobación.

  1. Revisa las siguientes columnas de características:
    • GENDER
    • FORMACIÓN ACADÉMICA
    • EMPLOYMENT_STATUS
    • MARITAL_STATUS
    • INCOME
    • APLICADO en línea
    • Residencia
    • DIRECCIÓN_ACTUAL_YRS_AT
    • YRS_WITH_CURRENT_EMPLOYER
    • NÚMERO_DE_TARJETAS
    • DEUDA_CARDAS_CRÉDITO
    • Préstamos
    • CANTIDAD_PRÉSTAMO
    • CREDIT_SCORE
    • CLIENTE_COMERCIAL
  2. Busque MORTGAGE_APPROVAL, y seleccione la casilla Etiqueta/Objetivo.
  3. Pulse Siguiente.

Especificar detalles de salida del modelo

En los datos de salida del modelo, debe seleccionar la columna de predicción generada por el modelo desplegado y la columna de probabilidad, que contiene la confianza del modelo en la predicción.

  1. Seleccione los recuadros de selección adecuados para las columnas Predicción y Probabilidad .
  2. Haga clic en Ver resumen.
  3. Pulse Finalizar.

Icono de punto de comprobación ' Comprueba tu progreso

La imagen siguiente muestra los detalles del modelo completado. Ahora está preparado para configurar la explicabilidad.

La imagen siguiente muestra los detalles del modelo completado.

Tarea 3b: Configurar explicabilidad

vídeo tutorial de vista previa Para obtener una vista preliminar de esta tarea, vea el vídeo que empieza en 02:58.

A continuación, siga estos pasos para configurar la explicabilidad.

Seleccione el método de explicación

Las explicaciones aditivas de Shapley, o SHAP, utilizan todas las combinaciones posibles de entradas para descubrir cómo cada entrada mueve una predicción hacia o lejos de un valor de predicción medio o puntuación de confianza. El modelo interpretable local-explicaciones agnósticas, o LIME, crea modelos lineales dispersos para descubrir la importancia de cada característica. SHAP es más minucioso, y LIME es más rápido.

  1. Pulse Valores generales.
  2. Junto al método Explicación, haga clic en el icono Editar ' Editar.
  3. Active la opción Explicación global de SHAP .
  4. Para el Método de explicación local, seleccione LIME (mejorado).
  5. Pulse Siguiente.

Seleccionar las características controlables

Puede especificar las características que desea que sean controlables al ejecutar un análisis para mostrar qué características eran más importantes para determinar el resultado del modelo.

  1. Revise la lista de características controlables y pulse Guardar.

Configurar explicabilidad global

SHAP cuantifica la influencia que ejerce cada característica sobre el resultado del modelo. SHAP genera un gráfico de resumen que resulta adecuado para explicaciones globales, pero también puede generar explicaciones de predicción individuales.

  1. En Explicabilidad, pulse SHAP.
  2. Junto a Ajustes comunes, haga clic en el icono Editar ' Editar.
    1. Acepte los valores predeterminados para los valores comunes.
    2. Pulse Guardar.
  3. Junto a Explicación global, haga clic en el icono Editar ' Editar.
    1. Acceda a los valores predeterminados para la explicación global.
    2. Pulse Guardar.

Icono de punto de comprobación ' Comprueba tu progreso

La imagen siguiente muestra la configuración de explicabilidad completada. Ahora está preparado para configurar la equidad.

La imagen siguiente muestra la configuración de explicabilidad completada.

Tarea 3c: Configurar equidad

vídeo tutorial de vista previa Para obtener una vista preliminar de esta tarea, vea el vídeo que empieza en 04:06.

A continuación, siga estos pasos para configurar la equidad.

Seleccionar un tipo de configuración

Puede configurar la equidad manualmente o cargar un archivo de configuración generado utilizando el cuaderno Jupyter proporcionado.

  1. Pulse Equidad.
  2. Junto a Configuración, haga clic en el icono Editar ' Editar.
  3. Seleccione Configurar manualmente para el Tipo de configuración.
  4. Pulse Siguiente.

Seleccionar los resultados favorables

Para este despliegue de modelo, un resultado favorable es cuando se aprueba un candidato para una hipoteca y un resultado desfavorable es cuando no se aprueba un candidato.

  1. En la tabla, seleccione Favorable para el valor 1 , que representa que el solicitante está aprobado para una hipoteca.
  2. En la tabla, seleccione Desfavorable para el valor 0 , que representa que el solicitante no está aprobado para una hipoteca.
  3. Pulse Siguiente.

Tamaño de la muestra

Ajuste el tamaño de la muestra basándose en el conjunto de datos que utilizará para evaluar el modelo.

  1. Cambie Tamaño mínimo de la muestra por 100.
  2. Pulse Siguiente.

Métricas

El supervisor de equidad realiza un seguimiento de varias métricas de equidad. El impacto dispar es la proporción entre el porcentaje de resultados favorables para el grupo supervisado y el porcentaje de resultados favorables para el grupo de referencia.

  1. Revise las métricas supervisadas generadas a partir de todos los datos para aplicarlas a las características supervisadas y, a continuación, revise las métricas generadas a partir de los datos de comentarios para aplicarlas a las características supervisadas.
  2. Acepte las métricas predeterminadas y pulse Siguiente.
  3. Acepte los valores predeterminados para los umbrales inferior y superior y pulse Siguiente.

Seleccione los campos que desea supervisar

Desea supervisar la tendencia del modelo desplegado a proporcionar un resultado favorable para un grupo sobre otro. En este caso, desea supervisar el modelo para el sesgo de género.

  1. Seleccione el campo GENDER .
  2. Pulse Siguiente.
  3. Si los valores se listan en la tabla:
    1. Comprobar mujer: Monitorizada
    2. Check Male: Reference.
  4. Si los valores no están listados en la tabla:
    1. En el campo Añadir valor personalizado , escriba Female.
    2. Pulse Añadir valor.
    3. Seleccione Supervisado junto a Varón en la tabla.
    4. En el campo Añadir valor personalizado , escriba Female.
    5. Pulse Añadir valor.
    6. Seleccione Referencia junto a Hombre en la tabla.
  5. Pulse Siguiente.
  6. Acepte el umbral predeterminado para el grupo supervisado y pulse Guardar.

Icono de punto de comprobación ' Comprueba tu progreso

La imagen siguiente muestra la configuración de equidad completada. Ahora está preparado para configurar la calidad.

La imagen siguiente muestra la configuración de equidad completada.

Tarea 3d: Configurar calidad

vídeo tutorial de vista previa ' Para previsualizar esta tarea, vea el vídeo a partir del minuto 05:17.

A continuación, siga estos pasos para configurar la calidad. El supervisor de calidad evalúa la forma en la que el modelo predice resultados precisos.

  1. Pulse Calidad.
  2. Junto a Umbrales de calidad, haga clic en el icono Editar ' Editar.
  3. Cambie el valor de Área bajo ROC a 0.7.
  4. Pulse Siguiente.
  5. Cambie el Tamaño mínimo de las muestras a 100.
  6. Pulse Guardar.

Icono de punto de comprobación ' Comprueba tu progreso

La imagen siguiente muestra la configuración de calidad completada. Ahora está preparado para configurar la desviación.

La imagen siguiente muestra la configuración de calidad completada.

Tarea 3e: Configurar desviación

vídeo tutorial de vista previa ' Para previsualizar esta tarea, vea el vídeo a partir del minuto 05:42.

Por último, siga estos pasos para configurar la desviación. El supervisor de desviación comprueba si los despliegues están actualizados y se comportan de forma coherente.

  1. Pulse Desviación v2.
  2. Junto a Calcular el archivo de deriva, haga clic en el icono Editar ' Editar.
  3. Para la opción Calcular, seleccione Calcular en Watson OpenScale. Esta opción indica a Watson OpenScale que realice un análisis de los datos de entrenamiento para determinar las distribuciones de datos de las características.
  4. Pulse Siguiente.
  5. Acepte los valores predeterminados para los umbrales superiores y pulse Siguiente.
  6. Acepte los valores predeterminados para el tamaño de la muestra y pulse Guardar.
  7. Pulse la X para cerrar la ventana y esperar a que Watson OpenScale capte los supervisores.

Icono de punto de comprobación ' Comprueba tu progreso

La imagen siguiente muestra la configuración completada en el espacio de despliegue. Ahora está preparado para supervisar el despliegue del modelo.

La imagen siguiente muestra la configuración completada en el espacio de despliegue.




Tarea 4: Evaluar el modelo

vídeo tutorial de vista previa ' Para previsualizar esta tarea, vea el vídeo que comienza en 06:22.

Siga estos pasos para utilizar datos reservados para evaluar el modelo:

  1. En el menú Acciones, seleccione Evaluar ahora.

  2. En la lista de opciones de importación, seleccione desde archivo CSV.

  3. Arrastre el archivo de datos Golden Bank_HoldoutData.csv que ha descargado desde el proyecto en el panel lateral.

  4. Pulse Cargar y evaluar y espere a que finalice la evaluación.

  5. Cuando finalice la evaluación, verá el número de pruebas ejecutadas, las pruebas superadas y las pruebas que han fallado. Desplácese para ver los resultados de Equidad, Calidad, Desviacióny Explicación global.

Icono de punto de comprobación ' Comprueba tu progreso

La imagen siguiente muestra el resultado de la evaluación para el modelo desplegado. Ahora que ha evaluado el modelo, está preparado para observar la calidad del modelo.

modelo evaluado




Tarea 5: Observar la calidad de los supervisores de modelo

vídeo tutorial de vista previa ' Para previsualizar esta tarea, vea el vídeo que comienza en 06:36.

El supervisor de calidad de Watson OpenScale genera un conjunto de métricas para evaluar la calidad del modelo. Puede utilizar estas métricas de calidad para determinar lo bien que predice el modelo los resultados. Cuando se complete la evaluación que utiliza los datos reservados, siga estos pasos para observar la calidad o precisión del modelo:

  1. En la sección Calidad, haga clic en el icono Configurar ' Configurar. Aquí puede ver que el umbral de calidad que está configurado para este monitor es del 70% y que la medición de calidad que se está utilizando es área bajo la curva ROC.

  2. Pulse la X para cerrar la ventana y volver a la pantalla de evaluación del modelo.

  3. En la sección Calidad, haga clic en el icono Detalles ' Detalles ' para ver los resultados detallados de la calidad del modelo. Aquí puede ver una serie de cálculos de métricas de calidad y una matriz de confusión que muestra las decisiones correctas del modelo junto con falsos positivos y falsos negativos. El área calculada bajo la curva ROC es 0.9 o superior, lo que supera el umbral 0.7 , por lo que el modelo cumple sus requisitos de calidad.

  4. Pulse Volver a resumen para volver a la pantalla de detalles del modelo.

Icono de punto de comprobación ' Comprueba tu progreso

La imagen siguiente muestra los detalles de calidad en Watson OpenScale. Ahora que ha observado la calidad del modelo, puede observar la equidad del modelo.

Calidad




Tarea 6: Observar la equidad en los supervisores del modelo

vídeo tutorial de vista previa ' Para previsualizar esta tarea, vea el vídeo que comienza a las 07:20.

El supervisor de equidad de Watson OpenScale genera un conjunto de métricas para evaluar la equidad del modelo. Puede utilizar las métricas de equidad para determinar si el modelo produce resultados sesgados. Siga estos pasos para observar la equidad del modelo:

  1. En la sección Equidad, haga clic en el icono Configurar ' Configurar. Aquí se ve que se está revisando el modelo para garantizar que los solicitantes estén siendo tratados de manera justa independientemente de su género. Las mujeres son identificadas como el grupo supervisado para el que se está midiendo la equidad y el umbral para la equidad es de al menos el 80 %. El supervisor de equidad utiliza el método de impacto dispar para determinar la equidad. El impacto dispar compara el porcentaje de resultados favorables para un grupo supervisado con el porcentaje de resultados favorables para un grupo de referencia.

  2. Pulse la X para cerrar la ventana y volver a la pantalla de evaluación del modelo.

  3. En la sección Equidad, haga clic en el icono Detalles ' Detalles para ver los resultados detallados de la equidad del modelo. Aquí puede ver el porcentaje de solicitantes masculinos y femeninos que se están aprobando automáticamente, junto con una puntuación de equidad de más del 100%, por lo que el rendimiento del modelo supera con creces el umbral de equidad del 80% requerido.

  4. Tenga en cuenta los conjuntos de datos identificados. Para asegurarse de que las métricas de equidad son más precisas, Watson OpenScale utiliza la perturbación para determinar los resultados en los que sólo se cambian los atributos protegidos y las entradas de modelo relacionadas, mientras que otras características siguen siendo las mismas. La perturbación cambia los valores de la característica del grupo de referencia al grupo supervisado o viceversa. Estas protecciones adicionales se utilizan para calcular la equidad cuando se utiliza el conjunto de datos "equilibrado", pero también puede ver los resultados de la equidad utilizando solo los datos de entrenamiento de la carga útil o del modelo. Puesto que el modelo se está comportando de forma justa, no es necesario entrar en detalles adicionales para esta métrica.

    Conjuntos de datos de equidad

  5. Pulse Volver a resumen para volver a la pantalla de detalles del modelo.

Icono de punto de comprobación ' Comprueba tu progreso

La imagen siguiente muestra los detalles de equidad en Watson OpenScale. Ahora que ha observado la equidad del modelo, puede observar la explicabilidad del modelo.

Equidad




Tarea 7: Observar los supervisores de modelo para la desviación

vídeo tutorial de vista previa ' Para previsualizar esta tarea, vea el vídeo que comienza a las 08:25.

El supervisor de desviación de Watson OpenScale mide los cambios en los datos a lo largo del tiempo para garantizar resultados coherentes para el modelo. Utilice las evaluaciones de desviación para identificar los cambios en la salida del modelo, la precisión de las predicciones y la distribución de los datos de entrada. Siga estos pasos para observar la desviación del modelo:

  1. En la sección Drift, haga clic en el icono Configurar ' Configurar. Aquí puede ver los umbrales de desviación. La desviación de resultados mide el cambio en la distribución de confianza del modelo. La desviación de la calidad del modelo mide la disminución de la precisión comparando la precisión estimada del tiempo de ejecución con la precisión del entrenamiento. La desviación de características mide el cambio en la distribución de valores para características importantes. La configuración también muestra el número de características seleccionadas y las características más importantes.

  2. Pulse la X para cerrar la ventana y volver a la pantalla de evaluación del modelo.

  3. En la sección Deriva, haga clic en el icono Detalles ' Detalles ' para ver los resultados detallados de la deriva del modelo. Puede ver el historial de cómo cambia cada puntuación de métrica a lo largo del tiempo con un gráfico de serie temporal. Los valores inferiores son mejores, por lo que en este caso, los resultados están por encima de los umbrales superiores establecidos en la configuración. A continuación, vea los detalles sobre cómo se calculan los resultados de las puntuaciones y las derivaciones de características. También puede ver detalles sobre cada característica para comprender cómo contribuyen a las puntuaciones que genera Watson OpenScale .

  4. Pulse Volver a resumen para volver a la pantalla de detalles del modelo.

Icono de punto de comprobación ' Comprueba tu progreso

La imagen siguiente muestra los detalles de desviación en Watson OpenScale. Ahora que ha observado la desviación del modelo, puede observar la explicabilidad del modelo.

Desviación




Tarea 8: Observar la explicabilidad de los supervisores de modelo

vídeo tutorial de vista previa ' Para previsualizar esta tarea, vea el vídeo que comienza en 09:10.

También es importante entender cómo llegó el modelo a su decisión. Esta comprensión es necesaria tanto para explicar las decisiones a las personas implicadas en la aprobación del préstamo como para asegurarse de que los propietarios del modelo sean válidos. Para comprender estas decisiones, siga estos pasos para observar la explicabilidad del modelo:

  1. Pulse la pestaña Transacciones .

  2. En el gráfico, seleccione un periodo de tiempo para ver una lista de transacciones durante ese periodo.

  3. Para cualquier transacción, pulse Explicar en la columna Acciones. Aquí se ve la explicación detallada de esta decisión. Verá las entradas más importantes para el modelo junto con la importancia de cada una para el resultado final. Las barras azules representan entradas que tienden a dar soporte a la decisión del modelo, mientras que las barras rojas muestran entradas que podrían haber llevado a otra decisión. Por ejemplo, un solicitante podría tener ingresos suficientes para ser aprobado de otro modo, pero su pobre historial de crédito y su elevada deuda juntos llevan al modelo a rechazar la solicitud. Revise esta explicación para evaluar la base de la decisión del modelo.

  4. Opcional: Si desea profundizar más en cómo el modelo ha tomado su decisión, pulse la pestaña Inspeccionar . Utilice la característica Inspeccionar para analizar la decisión de buscar áreas de sensibilidad en las que un pequeño cambio en unas pocas entradas daría como resultado una decisión diferente, y puede probar la sensibilidad por sí mismo alterando temporalmente algunas de las entradas reales con alternativas para ver si estas afectarían al resultado. Pulse Ejecutar análisis para que Watson OpenScale revele los cambios mínimos necesarios para entregar un resultado diferente. Seleccione Analizar sólo características controlables para limitar los cambios sólo a las características controlables.

Icono de punto de comprobación ' Comprueba tu progreso

La imagen siguiente muestra la explicabilidad de una transacción en Watson OpenScale. Ha determinado que el modelo es preciso y trata a todos los solicitantes de forma justa. Ahora, puede avanzar el modelo a la siguiente fase de su ciclo de vida.

Explicabilidad



Próximos pasos

Pruebe estas guías de aprendizaje adicionales:

Recursos adicionales

  • Ver más vídeos

  • Visión general de watsonx

  • Busque conjuntos de datos de ejemplo, proyectos, modelos, solicitudes y cuadernos en el concentrador de recursos para obtener experiencia práctica:

    cuadernos Cuaderno ' que puedes añadir a tu proyecto para empezar a analizar datos y construir modelos.

    Proyecto ' Proyectos que puede importar y que contienen cuadernos, conjuntos de datos, avisos y otros recursos.

    Conjunto de datos ' Conjuntos de datos que puedes añadir a tu proyecto para refinar, analizar y construir modelos.

    Solicitud ' Avisos que puede utilizar en el Laboratorio de avisos para avisar a un foundation model.

    Modelo Modelos de la Fundación que puede utilizar en el Prompt Lab.

Tema principal: Guías de aprendizaje de inicio rápido

Búsqueda y respuesta de IA generativa
Estas respuestas las genera un modelo de lenguaje grande en watsonx.ai que se basa en el contenido de la documentación del producto. Más información