Distancia coseno
La distancia coseno mide la diferencia entre los vectores incrustados. Para medir la distancia coseno se utiliza la siguiente fórmula:
La distancia coseno oscila entre 0, que indica vectores idénticos, 1, que indica ausencia de correlación entre los vectores, y 2, que indica vectores opuestos.
Distancia euclídea
La distancia euclídea es la distancia más corta entre vectores incrustados en el espacio euclídeo. Para medir la distancia euclidiana se utiliza la siguiente fórmula:
La distancia euclídea oscila entre 0, que indica vectores completamente idénticos, e infinito. Sin embargo, para vectores normalizados para tener longitud unitaria, la distancia euclídea máxima es la 
.
Puede configurar evaluaciones de desviación v2 para medir los cambios en los datos a lo largo del tiempo para garantizar resultados coherentes para el modelo. Utilice las evaluaciones de desviación v2 para identificar los cambios en la salida del modelo, la precisión de las predicciones y la distribución de los datos de entrada.
En las secciones siguientes se describe cómo configurar evaluaciones de desviación v2 :
Configuración de evaluaciones de desviación v2
Si registra los datos de la carga útil cuando se prepara para las evaluaciones del modelo, puede configurar las evaluaciones drift v2 para que le ayuden a comprender cómo los cambios en sus datos afectan a los resultados del modelo.
Calcular el archivo de desviación
Debe elegir el método que se utilizará para analizar sus datos de entrenamiento para determinar las distribuciones de datos de las características de su modelo. Si conecta datos de entrenamiento y el tamaño de su es inferior a 500 MB, puede optar por calcular el archivo drift v2.
Si no conecta sus datos de entrenamiento, o si el tamaño de sus datos es superior a 500 MB, debe elegir calcular el archivo drift v2 en un cuaderno. También debe calcular el archivo drift v2 en cuadernos si desea evaluar modelos de imagen o texto.
Puede especificar un límite para el tamaño de sus datos de entrenamiento estableciendo tamaños de muestra máximos para la cantidad de datos de entrenamiento que se utilizan para la puntuación y el cálculo del archivo drift v2. Para las implantaciones non-watsonx.ai Runtime, el cálculo del archivo drift v2 tiene un coste asociado a la puntuación de los datos de entrenamiento con respecto al punto final de puntuación de su modelo.
Establecer umbrales de desviación
Debe establecer valores umbral para cada métrica a fin de identificar problemas con los resultados de su evaluación. Los valores que establezca crean alertas en el panel de control de Insights que aparecen cuando las puntuaciones de métrica infringen los umbrales. Debe establecer los valores entre el rango de 0 a 1. Las puntuaciones de métrica deben ser inferiores a los valores de umbral para evitar infracciones.
Seleccionar características importantes
Sólo para modelos tabulares, la importancia de las características se calcula para determinar el impacto de la desviación de las características en su modelo. Para calcular la importancia de las características, puede seleccionar las características importantes y más importantes de su modelo que tengan el mayor impacto en los resultados del mismo.
Al configurar las explicaciones SHAP, las características importantes se detectan automáticamente mediante explicaciones globales.
También puede cargar una lista de características importantes cargando un archivo JSON. Se proporcionan fragmentos de ejemplo que puede utilizar para cargar un archivo JSON. Para obtener más información, consulte Fragmentos de código de importancia de característica.
Establecer tamaño de muestra
Se proporcionan tamaños de muestra para procesar el número de transacciones que se evalúan durante las evaluaciones. Debe establecer un tamaño mínimo de muestra para indicar el menor número de transacciones que desea evaluar. También puede establecer un tamaño máximo de muestra para indicar el número máximo de transacciones que desea evaluar.
Métricas de desviación soportadas v2
Cuando activa las evaluaciones drift v2, puede ver un resumen de los resultados de la evaluación con métricas para el tipo de modelo que está evaluando.
Puede consultar los resultados de sus evaluaciones drift v2 en el panel Insights. Para más información, consulte Revisión de los resultados de drift v2.
Las siguientes métricas están soportadas por las evaluaciones de desviación v2 :
Desviación de salida
La deriva de salida mide el cambio en la distribución de confianza del modelo.
Cómo funciona
Se mide la cantidad que cambia la salida de su modelo desde el momento en que entrena el modelo. Para los modelos de regresión, la deriva de salida se calcula midiendo el cambio en la distribución de las predicciones sobre los datos de entrenamiento y de carga útil. Para los modelos de clasificación, la deriva de salida se calcula para cada probabilidad de clase midiendo el cambio en la distribución de las probabilidades de clase en los datos de entrenamiento y de carga útil. En los modelos de clasificación múltiple, la deriva de salida se agrega para cada probabilidad de clase midiendo una media ponderada.Haz las cuentas
Para calcular la deriva de salida se utilizan las siguientes fórmulas:
Desviación en la calidad del modelo
La desviación de la calidad del modelo compara la precisión estimada en tiempo de ejecución con la precisión de entrenamiento para medir la caída de la precisión.
- Cómo funciona:
Se construye un modelo de detección de deriva que procesa sus datos de carga útil cuando configura las evaluaciones de deriva v2 para predecir si su modelo genera predicciones precisas sin la verdad del terreno. El modelo de detección de desviación utiliza las características de entrada y las probabilidades de clase del modelo para crear sus propias características de entrada.
- Realizar las matemáticas:
Para calcular la deriva de calidad del modelo se utiliza la siguiente fórmula:
La precisión de su modelo se calcula como el base_accuracy midiendo la fracción de transacciones predichas correctamente en sus datos de entrenamiento. Durante las evaluaciones, las transacciones se puntúan con respecto al modelo de detección de desviación para medir la cantidad de transacciones que probablemente predice correctamente el modelo. Estas transacciones se comparan con el número total de transacciones procesadas para calcular el predicted_accuracy. Si el predicted_accuracy es menor que el base_accuracy, se genera una puntuación de deriva de calidad del modelo.
Desviación de características
La deriva de características mide el cambio en la distribución de valores de las características importantes.
- Cómo funciona:
La deriva se calcula para características categóricas y numéricas midiendo la distribución de probabilidad de valores continuos y discretos. Para identificar los valores discretos de las características numéricas, se utiliza un logaritmo binario para comparar el número de valores distintos de cada característica con el número total de valores de cada característica. Para identificar características numéricas discretas se utiliza la siguiente fórmula de logaritmo binario:
Si distinct_values_count es menor que el logaritmo binario de total_count, la característica se identifica como discreta.
- Realizar las matemáticas:
Para calcular la deriva de las características se utilizan las siguientes fórmulas:
Las fórmulas siguientes se utilizan para calcular las métricas de evaluación de desviación v2 :
Distancia de variación total
La distancia total de variación mide la diferencia máxima entre las probabilidades que dos distribuciones de probabilidad, línea base (B) y producción (P), asignan a la misma transacción como se muestra en la fórmula siguiente:
Si las dos distribuciones son iguales, la distancia de variación total entre ellas se convierte en 0.
La siguiente fórmula se utiliza para calcular la distancia total de variación:
𝑥 es una serie de muestras equidistantes que abarcan el dominio de
que van desde el mínimo combinado de los datos de referencia y producción hasta el máximo combinado de los datos de referencia y producción.
es la diferencia entre dos muestras 𝑥 consecutivas.
es el valor de la función de densidad para los datos de producción en una muestra 𝑥.
es el valor de la función de densidad para los datos de referencia para en una muestra 𝑥.
El 
denominador representa el área total bajo los gráficos de la función de densidad para los datos de producción y de referencia. Estas sumaciones son una aproximación de las integraciones sobre el espacio de dominio y ambos términos deben ser 1 y el total debe ser 2.
Coeficiente de solapamiento
El coeficiente de solapamiento se calcula midiendo el área total de la intersección entre dos distribuciones de probabilidad. Para medir la disimilaridad entre distribuciones, la intersección o el área de solapamiento se resta de 1 para calcular la cantidad de desviación. La fórmula siguiente se utiliza para calcular el coeficiente de solapamiento:
𝑥 es una serie de muestras equidistantes que abarcan el dominio de
que van desde el mínimo combinado de los datos de referencia y producción hasta el máximo combinado de los datos de referencia y producción.- es la diferencia entre dos muestras 𝑥 consecutivas.
- es el valor de la función de densidad para los datos de producción en una muestra 𝑥.
- es el valor de la función de densidad para los datos de referencia para en una muestra 𝑥.
Distancia de Jensen Shannon
Jensen Shannon Distance es la forma normalizada de Kullback-Leibler (KL) Divergence que mide cuánto una distribución de probabilidad difiere de la segunda distribución de probabilidad. Jensen Shannon Distance es una puntuación simétrica y siempre tiene un valor finito.
La siguiente fórmula se utiliza para calcular la distancia de Jensen Shannon para dos distribuciones de probabilidad, línea base (B) y producción (P):
es la Divergencia KL.
Tema padre: Configuración de evaluaciones de modelo