Puede utilizar IBM watsonx.ai Runtime para realizar el registro de carga útil, el registro de retroalimentación y para medir la precisión del rendimiento, la detección de sesgos en tiempo de ejecución, la detección de derivas, la explicabilidad y la función de autodebias cuando evalúe modelos de aprendizaje automático.
Los siguientes marcos de IBM watsonx.ai Runtime son compatibles para evaluar modelos de aprendizaje automático:
Tabla 1. Detalles del soporte de las infraestructuras
| Infraestructura | Tipo de problema | Tipo de datos |
|---|---|---|
| AutoAI1 | Clasificación (binaria y multiclases) | Estructurados (datos, texto) |
| AutoAI | Regresión | Estructurados o no estructurados2 (solo texto) |
| Apache Spark MLlib | Clasificación | Estructurados o no estructurados2 (solo texto) |
| Apache Spark MLLib | Regresión | Estructurados o no estructurados2 (solo texto) |
| Keras con TensorFlow3&4 | Clasificación | No estructurados2 (imagen, texto) |
| Keras con TensorFlow3&4 | Regresión | No estructurados2 (imagen, texto) |
| Función de Python | Clasificación | Estructurados (datos, texto) |
| Función de Python | Regresión | Estructurados (datos, texto) |
| scikit-learn5 | Clasificación | Estructurados (datos, texto) |
| scikit-learn | Regresión | Estructurados (datos, texto) |
| XGBoost6 | Clasificación | Estructurados (datos, texto) |
| XGBoost | Regresión | Estructurados (datos, texto) |
1Para obtener más información sobre AutoAI, consulte Detalles de implementación de AutoAI. Para los modelos en los que los datos de entrenamiento están en Cloud Object Storage, no hay soporte para los atributos de equidad de tipo booleano. Sin embargo, si los datos de formación están en Db2, las evaluaciones del modelo admiten atributos de equidad de tipo booleano. Cuando se utiliza la opción AutoAI, si la predicción del modelo es un tipo de datos binario, no se admiten las evaluaciones del modelo. Debe cambiar estos modelos de modo que el tipo de datos de su predicción sea un tipo de datos de serie.
2Las métricas de equidad y desviación no están soportadas para tipos de datos no estructurados (imagen o texto).
3El soporte de Keras no incluye el soporte de la equidad.
4Se da soporte a la explicabilidad si el modelo o la infraestructura genera probabilidades de predicción.
5Para generar el modelo de detección de desviación, debe utilizar scikit-learn versión 1.3.2 en los cuadernos.
6Para modelos binarios y de varias clases XGBoost, debe actualizar el modelo para que devuelva la probabilidad de predicción en forma de valores numéricos para los modelos binarios y una lista de probabilidades por clase para modelos de varias clases. La compatibilidad con el marco XGBoost tiene las siguientes limitaciones para los problemas de clasificación: Para la clasificación binaria, se admite la función de regresión logística " binary:logistic " con una salida como probabilidad de " True " para las evaluaciones del modelo. Para la clasificación multiclase, la función " multi:softprob ", cuyo resultado contiene la probabilidad prevista de que cada punto de datos pertenezca a cada clase, es compatible con las evaluaciones de modelos.
Modelos de autoAI y datos de entrenamiento
AutoAI prepara automáticamente datos, aplica algoritmos o estimadores y crea interconexiones de modelo que se adaptan mejor a sus datos y caso de uso. Es necesario tener acceso a los datos de entrenamiento para analizar el modelo para las evaluaciones.
Dado que la ubicación de los datos de entrenamiento no se detecta para la evaluación de un modelo AutoAI como en el caso de los modelos normales, debe proporcionar explícitamente los detalles necesarios para acceder a la ubicación de los datos de entrenamiento:
- Para la vía de acceso en línea, donde se configuran manualmente los supervisores, debe proporcionar los detalles de ubicación de base de datos desde los que se puede acceder a los datos de entrenamiento.
- Para la vía de acceso de cuaderno personalizada, donde se carga la distribución de datos de entrenamiento, puede utilizar el archivo JSON que se produce ejecutando el cuaderno.
Para obtener más información, consulte Proporcionar detalles del modelo.
Especificación de una instancia de servicio IBM watsonx.ai Runtime
El primer paso para configurar las evaluaciones de modelos es especificar una instancia de IBM watsonx.ai Runtime. Su instancia watsonx.ai Runtime es donde almacena sus modelos y despliegues de IA.
Requisitos previos
Debe haber aprovisionado una instancia de IBM watsonx.ai Runtime en la misma cuenta o clúster donde está presente la instancia de servicio para evaluaciones de modelos. Si ha aprovisionado una instancia de IBM watsonx.ai Runtime en alguna otra cuenta o clúster, no podrá configurar esa instancia con el registro automático de cargas útiles para las evaluaciones de modelos.
Conecte su instancia de servicio watsonx.ai Runtime
Puede conectarse a modelos y despliegues de IA en una instancia de IBM watsonx.ai Runtime para evaluaciones de modelos. Para conectar su servicio, vaya a la pestaña Configurar ' 
, añada un proveedor de aprendizaje automático y haga clic en el icono Editar ' 
. Además de un nombre y una descripción y de si se trata de un tipo de entorno Preproducción o Producción, debe proporcionar la siguiente información específica a este tipo de instancia de servicio:
- Si dispone de una instancia de IBM watsonx.ai Runtime, se detecta la instancia, junto con la información de configuración.
Tema principal: Motores, infraestructuras y modelos de aprendizaje automático soportados