Métricas de evaluación de usuarios
La métrica de usuarios calcula el número de usuarios que envían solicitudes de puntuación a las implementaciones de su modelo.
Detalles de métrica
Usuarios es una métrica de evaluación de salud modelo que puede ayudarle a comprender la eficiencia con la que su activo procesa sus transacciones.
Ámbito
La métrica de usuarios evalúa los activos de IA generativa y los modelos de aprendizaje automático.
- Tareas de IA generativa :
- Resumen de texto
- Clasificación de texto
- Generación de contenido
- Extracción de entidades
- Respuesta a preguntas
- Generación aumentada de recuperación (RAG)
- Tipo de problema de aprendizaje automático :
- Clasificación binaria
- Clasificación de varias clases
- Regresión
- Idiomas disponibles : inglés
Proceso de evaluación
Para calcular el número de usuarios, se utiliza el
de las solicitudes de puntuación para identificar a los usuarios que envían las solicitudes de puntuación que recibe su modelo.user_id
Para implementaciones de Runtime de watsonx.ai, el valor de
se detecta automáticamente cuando configura evaluaciones.user_id
Para implementaciones externas y personalizadas, debe especificar el valor
cuando envíe solicitudes de puntuación para calcular el número de usuarios, como se muestra en el siguiente ejemplo del SDK de Python :user_id
from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord
client.data_sets.store_records(
data_set_id=payload_data_set_id,
request_body=[
PayloadRecord(
scoring_id=<uuid>,
request=openscale_input,
response=openscale_output,
response_time=<response_time>,
user_id=<user_id>). --> value to be supplied by user
]
)
Tema principal: Métricas de evaluación