Traducción no actualizada
Configuración de las evaluaciones de Drift v2
creado: "2018-11-03 08:00:00 GMT-8 " title: "Configuración de evaluaciones de deriva v2 " fname: " model\wos-driftv2-config. liquid.md "
Puede configurar las evaluaciones drift v2 para medir los cambios en sus datos a lo largo del tiempo y garantizar resultados coherentes para su modelo. Utilice las evaluaciones drift v2 para identificar los cambios en los resultados de su modelo, la precisión de sus predicciones y la distribución de sus datos de entrada.
En las secciones siguientes se describe cómo configurar evaluaciones de desviación v2 :
Configuración de evaluaciones drift v2 para modelos de aprendizaje automático
Si registra los datos de la carga útil cuando se prepara para las evaluaciones del modelo, puede configurar las evaluaciones drift v2 de los modelos de aprendizaje automático para ayudarle a comprender cómo afectan los cambios en sus datos a los resultados del modelo.
Calcular el archivo de desviación
Debe elegir el método que desea utilizar para analizar sus datos de entrenamiento para determinar las distribuciones de datos de las características de su modelo. Si conecta datos de entrenamiento y el tamaño de su es inferior a 500 MB, puede optar por calcular el archivo drift v2.
Si no conecta sus datos de entrenamiento, o si el tamaño de sus datos es superior a 500 MB, debe optar por calcular el archivo drift v2 en un cuaderno. También debe calcular el archivo drift v2 en cuadernos si desea evaluar modelos de imagen o texto.
Puede especificar un límite para el tamaño de sus datos de entrenamiento estableciendo tamaños de muestra máximos para la cantidad de datos de entrenamiento que se utilizan para la puntuación y el cálculo del archivo drift v2. Para las implantaciones non-watsonx.ai Runtime, el cálculo del archivo drift v2 tiene un coste asociado a la puntuación de los datos de entrenamiento con respecto al punto final de puntuación de su modelo.
Establecer umbrales de desviación
Debe establecer valores umbral para cada métrica a fin de identificar problemas con los resultados de su evaluación. Los valores que establezca crean alertas en el panel de control de Insights que aparecen cuando las puntuaciones de métrica infringen los umbrales. Debe establecer los valores entre el rango de 0 a 1. Las puntuaciones de métrica deben ser inferiores a los valores de umbral para evitar infracciones.
Seleccionar características importantes
Sólo para los modelos tabulares, la importancia de las características se calcula para determinar el impacto de la desviación de las características en su modelo. Para calcular la importancia de las características, puede seleccionar las características importantes y más importantes de su modelo que tengan el mayor impacto en los resultados del mismo.
Al configurar las explicaciones SHAP, las características importantes se detectan automáticamente mediante explicaciones globales.
También puede cargar una lista de características importantes cargando un archivo JSON. Se proporcionan fragmentos de ejemplo que puede utilizar para cargar un archivo JSON. Para obtener más información, consulte Fragmentos de código de importancia de característica.
Establecer tamaño de muestra
El tamaño de las muestras se utiliza para saber cómo procesar el número de transacciones que se evalúan durante las evaluaciones. Debe establecer un tamaño mínimo de muestra para indicar el menor número de transacciones que desea evaluar. También puede establecer un tamaño máximo de muestra para indicar el número máximo de transacciones que desea evaluar.
Configuración de las evaluaciones drift v2 para modelos generativos de IA
Cuando evalúa plantillas de solicitud, puede revisar un resumen de los resultados de evaluación de la desviación v2 para los siguientes tipos de tarea:
- Resumen de texto
- Clasificación de texto
- Generación de contenido
- Extracción de entidades
- Respuesta a preguntas
- Generación aumentada de recuperación (RAG)
Establecer umbrales de desviación
Para configurar evaluaciones de desviación v2 con sus propios valores, puede establecer un tamaño de muestra mínimo y máximo para cada métrica. El tamaño mínimo o máximo de la muestra indica el número mínimo o máximo de transacciones de modelo que desea evaluar.
También puede configurar datos de línea base y establecer valores de umbral para cada métrica. Los valores de umbral crean alertas en la página de resumen de evaluación que aptan cuando las puntuaciones de métrica violan los umbrales. Debe establecer los valores entre el rango de 0 a 1. Las puntuaciones de métrica deben ser inferiores a los valores de umbral para evitar infracciones.
Calcular el archivo de desviación
Watsonx.governance utiliza registros de carga útil para establecer la línea base para las evaluaciones de desviación v2 . Debe configurar el número de registros que desea calcular como datos de línea base. Puede utilizar un cuaderno para generar el archivo de datos de línea base v2 de desviación para configurar evaluaciones.
Calcular las incrustaciones
Para calcular las métricas de deriva de incrustación, debe proporcionar incrustaciones con sus datos de prueba. Puedes utilizar notebooks para ayudar a generar y persistir incrustaciones.
Tema principal: Evaluación de modelos de IA