Volver a la versión inglesa de la documentación

Métricas de evaluación del rendimiento de la API

Última actualización: 14 mar 2025
Métricas de evaluación del rendimiento de la API

La métrica de rendimiento de la API mide el número de solicitudes de puntuación procesadas por su implementación de modelo por segundo.

Detalles de métrica

El rendimiento de la API es una métrica de rendimiento y latencia para las evaluaciones del monitor de estado del modelo que calcula el rendimiento mediante el seguimiento del número de solicitudes de puntuación y registros de transacciones que se procesan por segundo.

Ámbito

La métrica de rendimiento de la API evalúa los activos de IA generativa y los modelos de aprendizaje automático.

  • Tareas de IA generativa :
    • Resumen de texto
    • Clasificación de texto
    • Generación de contenido
    • Extracción de entidades
    • Respuesta a preguntas
    • Generación aumentada de recuperación (RAG)
  • Tipo de problema de aprendizaje automático :
    • Clasificación binaria
    • Clasificación de varias clases
    • Regresión
  • Idiomas disponibles : inglés

Proceso de evaluación

El rendimiento medio, máximo, mediano y mínimo del API para puntuar solicitudes y registros de transacciones se calcula durante las evaluaciones del monitor de estado del modelo.

Para calcular la métrica de rendimiento de la API, se utiliza un valor de puntuación ( response_time ) de sus solicitudes de puntuación para hacer un seguimiento del tiempo que tarda la implementación de su modelo en procesar las solicitudes de puntuación.

Para implementaciones de Runtime de watsonx.ai, el valor de response_time se detecta automáticamente cuando configura evaluaciones.

Para implementaciones externas y personalizadas, debe especificar el valor response_time cuando envíe solicitudes de puntuación para calcular el rendimiento y la latencia, como se muestra en el siguiente ejemplo del SDK de Python :

    from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord            
        client.data_sets.store_records(
        data_set_id=payload_data_set_id, 
        request_body=[
        PayloadRecord(
            scoring_id=<uuid>,
            request=openscale_input,
            response=openscale_output,
            response_time=<response_time>,  
            user_id=<user_id>)
                    ]
        ) 

Tema principal: Métricas de evaluación