Métricas de evaluación del rendimiento de la API
La métrica de rendimiento de la API mide el número de solicitudes de puntuación procesadas por su implementación de modelo por segundo.
Detalles de métrica
El rendimiento de la API es una métrica de rendimiento y latencia para las evaluaciones del monitor de estado del modelo que calcula el rendimiento mediante el seguimiento del número de solicitudes de puntuación y registros de transacciones que se procesan por segundo.
Ámbito
La métrica de rendimiento de la API evalúa los activos de IA generativa y los modelos de aprendizaje automático.
- Tareas de IA generativa :
- Resumen de texto
- Clasificación de texto
- Generación de contenido
- Extracción de entidades
- Respuesta a preguntas
- Generación aumentada de recuperación (RAG)
- Tipo de problema de aprendizaje automático :
- Clasificación binaria
- Clasificación de varias clases
- Regresión
- Idiomas disponibles : inglés
Proceso de evaluación
El rendimiento medio, máximo, mediano y mínimo del API para puntuar solicitudes y registros de transacciones se calcula durante las evaluaciones del monitor de estado del modelo.
Para calcular la métrica de rendimiento de la API, se utiliza un valor de puntuación (
) de sus solicitudes de puntuación para hacer un seguimiento del tiempo que tarda la implementación de su modelo en procesar las solicitudes de puntuación.response_time
Para implementaciones de Runtime de watsonx.ai, el valor de
se detecta automáticamente cuando configura evaluaciones.response_time
Para implementaciones externas y personalizadas, debe especificar el valor
cuando envíe solicitudes de puntuación para calcular el rendimiento y la latencia, como se muestra en el siguiente ejemplo del SDK de Python :response_time
from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord
client.data_sets.store_records(
data_set_id=payload_data_set_id,
request_body=[
PayloadRecord(
scoring_id=<uuid>,
request=openscale_input,
response=openscale_output,
response_time=<response_time>,
user_id=<user_id>)
]
)
Tema principal: Métricas de evaluación