Configure las evaluaciones de watsonx.governance en los espacios de despliegue para obtener información sobre el rendimiento del modelo. Al configurar evaluaciones, puede analizar los resultados de la evaluación y modelar registros de transacciones directamente en los espacios.

watsonx.governance evalúa los despliegues de modelo para ayudarle a medir el rendimiento y comprender las predicciones de modelo. Cuando configura evaluaciones de modelo, watsonx.governance genera métricas para cada evaluación que proporcionan distintos conocimientos que puede revisar. watsonx.governance también registra las transacciones que se procesan durante las evaluaciones para ayudarle a comprender cómo se determinan las predicciones del modelo. Para obtener más información, consulte Evaluación de modelos de IA con Watson OpenScale.

Si tiene una instancia de watsonx.governance suministrada, puede crear sin problemas un despliegue en línea y, a continuación, supervisar los resultados del despliegue para ver si son justos, de calidad, de desviación y de explicabilidad.

Un escenario típico sigue esta secuencia:

1. Cree un espacio de despliegue y asocie una instancia de watsonx.governance con el espacio para habilitar todas las prestaciones de supervisión. Puede elegir el tipo de espacio, por ejemplo producción, o preproducción, en función de sus requisitos.
2. Promocione un modelo de aprendizaje automático entrenado y datos de entrada (carga útil) al espacio de despliegue y cree un despliegue en línea para el modelo.
3. En la pestaña Prueba de despliegue, proporcione los datos de entrada y vuelva a obtener las predicciones.
4. En el separador Evaluaciones, configure la evaluación para supervisar la calidad, equidad y explicabilidad del despliegue. Proporcione todos los detalles de modelo necesarios para que Watson OpenScale pueda conectarse al modelo, los datos de entrenamiento y carga útil, y a un repositorio para almacenar los resultados de evaluación.
5. Configure un supervisor de equidad para asegurarse de que el modelo está produciendo resultados imparciales. Seleccione campos para supervisar la equidad y, a continuación, establezca umbrales para medir predicciones para un grupo supervisado en comparación con un grupo de referencia. Por ejemplo, puede evaluar el modelo para asegurarse de que proporciona predicciones imparciales basadas en el género.
6. Configure un supervisor de calidad para determinar el rendimiento del modelo basándose en el número de resultados correctos producidos por el modelo basándose en datos de prueba etiquetados denominados datos de comentarios. Establezca umbrales de calidad para realizar un seguimiento cuando un valor de métrica esté fuera de un rango aceptable.
7. Configure un supervisor para la desviación para asegurarse de que los despliegues están actualizados y son coherentes. Utilice la importancia de característica para determinar el impacto de la desviación de característica en el modelo. Por ejemplo, una pequeña cantidad de desviación en una característica importante puede tener un impacto mayor en el modelo que una cantidad moderada de desviación en una característica menos importante.
8. Puede supervisar los resultados del despliegue para conocer los factores que han llevado al modelo a determinar una predicción. Elija el método de explicación que mejor se adapte a sus necesidades. Por ejemplo, puede elegir el método SHAP (Shapley Additive EXplanations) para obtener explicaciones detalladas o el método LIME (Local Interpretable Model-Agnostic Explanations) para obtener explicaciones más rápidas.
9. Por último, puede inspeccionar las evaluaciones de modelo para encontrar áreas en las que los pequeños cambios en unas pocas entradas resultarían en una decisión diferente. Casos de ejemplo de prueba para determinar si el cambio de entradas puede mejorar el rendimiento del modelo.

En las secciones siguientes se describe cómo configurar las evaluaciones de watsonx.governance y revisar la información de modelo en los espacios de despliegue: