Ejemplos de evaluación de desviación

Al configurar la entrada de deriva, debe especificar la magnitud de deriva de precisión tolerable. La desviación se mide como la disminución de la precisión en comparación con la precisión del modelo en el tiempo de entrenamiento. Por ejemplo, si la precisión del modelo en el momento del entrenamiento era del 90% y en tiempo de ejecución la precisión estimada del modelo es del 80%, se dice que el modelo se ha desviado un 10%. En función del caso de uso, los propietarios de modelos estarán dispuestos a tolerar diferentes cantidades de desviación. Puede especificar la magnitud de deriva de precisión para cada evaluación de modelo. Si la desviación de un modelo cae por debajo del umbral especificado, se generará una alerta.

Si sus datos no superan los 500 MB, puede entrenar su modelo en línea. De lo contrario, debe utilizar un cuaderno para entrenar el modelo.

Antes de empezar

Debe configurar la detección de desviación para poder analizar el modelo. Puede entrenar su modelo de detección de desviaciones en línea utilizando la interfaz de usuario o ejecutando código dentro de un cuaderno. La configuración de desviación sólo está soportada para datos estructurados. Los modelos de clasificación dan soporte tanto a la desviación de datos como a la precisión, los modelos de regresión sólo dan soporte a la desviación de datos.

Estos son los requisitos para configurar el supervisor de desviación:

• El proveedor de Machine Learning debe ser watsonx.ai Runtime
• El tamaño de los datos de entrenamiento debe ser inferior a 500MB
• Los datos de formación deben alojarse en IBM Cloud Object StorageDb2.

Para cargar los datos de entrenamiento y establecer los Detalles del modelo para la detección de desviación:

• Pulse Cargar datos de entrenamiento y cargue un archivo con los datos etiquetados.

Para obtener detalles, consulte Proporcionar detalles de modelo.

A lo largo de este proceso, se analiza su modelo y se hacen recomendaciones basadas en el resultado más lógico. Para que la detección de desviación funcione correctamente, el tipo de datos de la columna de predicción en los datos de entrenamiento debe coincidir con el tipo de datos de la misma columna en los datos de carga útil. Asigne tipos de serie o numéricos coincidentes a las columnas de predicción y de etiqueta. Para confirmar los tipos de datos, pulse Detalles del modelo > Detallles de salida del modelo > Editar. Estas selecciones garantizan que dispone de información precisa para los pasos de configuración siguientes. Si por alguna razón debe cambiar los tipos de datos, debe volver a desplegar la evaluación para efectuar los cambios.

En las páginas sucesivas del separador Desviación, debe proporcionar la información siguiente:

Pasos para configurar la evaluación de desviación

Si utiliza IBM watsonx.ai Runtime, puede configurar la detección de derivas.

Para iniciar el proceso de configuración, en la pestaña Desviación , en el cuadro Modelo de desviación , pulse el icono Editar .

Elija una opción de formación y siga las instrucciones para introducir la información necesaria. Cuando haya terminado, se presentará un resumen de las selecciones para su revisión. Si desea realizar algún cambio, pulse el icono Editar para esa sección. De lo contrario, guarde el trabajo.

Pasos para configurar la desviación sin volver a entrenar

Vuelva a configurar la evaluación de desviación sin volver a entrenar el modelo de desviación para actualizar los parámetros sin más proceso. Actualice el tamaño mínimo y el umbral de la muestra para producir más datos en el modelo actualmente entrenado sin incurrir en más costes de proceso. Es una forma de evitar el uso intensivo de la CPU cuando los datos subyacentes están estables y sólo desea ver una magnitud de desviación con umbrales diferentes.

Nota: El modelo de desviación requiere volver a entrenar sólo cuando cambian los datos de entrenamiento o el esquema.

Para iniciar el proceso de configuración, en la pestaña Desviación , en el recuadro Umbral de desviación o en el recuadro Tamaño de muestra , pulse Editar . Actualice el valor actual y guárdelo.

Pasos para configurar la desviación utilizando un cuaderno

Utilice un cuaderno para configurar la desviación en las circunstancias siguientes:

• No desea compartir los datos de entrenamiento para configurar las evaluaciones de deriva
• No dispone de medios para compartir los datos de entrenamiento en Db2 o IBM Cloud Object Storage, que son las dos únicas ubicaciones de datos de entrenamiento compatibles con las evaluaciones de derivas.

Esta opción resulta útil si los datos de entrenamiento no se almacenan en Db2 o IBM Cloud Object Storage. Utilizando un cuaderno, debe leer los datos de entrenamiento en un marco de datos. El cuaderno especializado que puede descargar crea entonces una salida especializada que puede cargar para configurar las evaluaciones de deriva.

Para generar el modelo de detección de desviación, puede ejecutar la célula que instala el paquete ibm-wos-utils>=5.0.1.0 y la versión de aprendizaje de sci-kit 1.3.2. Scikit-learn versión 1.3.2 es necesaria para crear el modelo.

Cree un cuaderno para generar el modelo de detección de deriva utilizando el cuaderno de muestra. El modelo de detección de desviación se convierte en un archivo .tar.gz para usted.

Para iniciar el proceso de configuración, en la pestaña Desviación , en el cuadro Modelo de desviación , pulse Editar . Utilice la opción Entrenar en un cuaderno de ciencia de datos. Puede arrastrar el modelo de detección de desviación comprimido a la zona de colocación.

Siga las indicaciones y especifique la información necesaria. Cuando haya terminado, se presentará un resumen de las selecciones para su revisión. Si desea cambiar algo, pulse Editar para esa sección. De lo contrario, guarde el trabajo.

Más información

Métricas de desviación

Tema padre: Configuración de evaluaciones de modelo