Configuración de evaluaciones de desviación v2
Puede configurar evaluaciones de desviación v2 para medir los cambios en los datos a lo largo del tiempo para garantizar resultados coherentes para el modelo. Utilice las evaluaciones de desviación v2 para identificar los cambios en la salida del modelo, la precisión de las predicciones y la distribución de los datos de entrada.
En las secciones siguientes se describe cómo configurar evaluaciones de desviación v2 :
Configuración de evaluaciones de desviación v2
Si registra los datos de la carga útil cuando se prepara para las evaluaciones del modelo, puede configurar las evaluaciones drift v2 para que le ayuden a comprender cómo los cambios en sus datos afectan a los resultados del modelo.
Calcular el archivo de desviación
Debe elegir el método que se utilizará para analizar sus datos de entrenamiento para determinar las distribuciones de datos de las características de su modelo. Si conecta datos de entrenamiento y el tamaño de su es inferior a 500 MB, puede optar por calcular el archivo drift v2.
Si no conecta sus datos de entrenamiento, o si el tamaño de sus datos es superior a 500 MB, debe elegir calcular el archivo drift v2 en un cuaderno. También debe calcular el archivo drift v2 en cuadernos si desea evaluar modelos de imagen o texto.
Puede especificar un límite para el tamaño de sus datos de entrenamiento estableciendo tamaños de muestra máximos para la cantidad de datos de entrenamiento que se utilizan para la puntuación y el cálculo del archivo drift v2. Para las implantaciones non-watsonx.ai Runtime, el cálculo del archivo drift v2 tiene un coste asociado a la puntuación de los datos de entrenamiento con respecto al punto final de puntuación de su modelo.
Establecer umbrales de desviación
Debe establecer valores umbral para cada métrica a fin de identificar problemas con los resultados de su evaluación. Los valores que establezca crean alertas en el panel de control de Insights que aparecen cuando las puntuaciones de métrica infringen los umbrales. Debe establecer los valores entre el rango de 0 a 1. Las puntuaciones de métrica deben ser inferiores a los valores de umbral para evitar infracciones.
Seleccionar características importantes
Sólo para modelos tabulares, la importancia de las características se calcula para determinar el impacto de la desviación de las características en su modelo. Para calcular la importancia de las características, puede seleccionar las características importantes y más importantes de su modelo que tengan el mayor impacto en los resultados del mismo.
Al configurar las explicaciones SHAP, las características importantes se detectan automáticamente mediante explicaciones globales.
También puede cargar una lista de características importantes cargando un archivo JSON. Se proporcionan fragmentos de ejemplo que puede utilizar para cargar un archivo JSON. Para obtener más información, consulte Fragmentos de código de importancia de característica.
Establecer tamaño de muestra
Se proporcionan tamaños de muestra para procesar el número de transacciones que se evalúan durante las evaluaciones. Debe establecer un tamaño mínimo de muestra para indicar el menor número de transacciones que desea evaluar. También puede establecer un tamaño máximo de muestra para indicar el número máximo de transacciones que desea evaluar.
Tema principal: Evaluación de modelos de IA