Métricas de evaluación de latencia de API

Ámbito

Copy link to section

La métrica de latencia de la API evalúa los activos de IA generativa y los modelos de aprendizaje automático.

• Tareas de IA generativa :
  • Resumen de texto
  • Clasificación de texto
  • Generación de contenido
  • Extracción de entidades
  • Respuesta a preguntas
  • Generación aumentada de recuperación (RAG)
• Tipo de problema de aprendizaje automático :
  • Clasificación binaria
  • Clasificación de varias clases
  • Regresión
• Idiomas disponibles : inglés

Proceso de evaluación

Copy link to section

La latencia media, máxima, mediana y mínima del API para puntuar solicitudes y registros de transacciones se calculan durante las evaluaciones del monitor de estado del modelo.

Para calcular la métrica de latencia de la API, se utiliza un valor de puntuación ( response_time ) de sus solicitudes de puntuación para hacer un seguimiento del tiempo que tarda la implementación de su modelo en procesar las solicitudes de puntuación.

Para implementaciones de Runtime de watsonx.ai, el valor de response_time se detecta automáticamente cuando se configuran las evaluaciones.

Para implementaciones externas y personalizadas, debe especificar el valor response_time cuando envíe solicitudes de puntuación para calcular el rendimiento y la latencia, como se muestra en el siguiente ejemplo del SDK de Python :

    from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord            
        client.data_sets.store_records(
        data_set_id=payload_data_set_id, 
        request_body=[
        PayloadRecord(
            scoring_id=<uuid>,
            request=openscale_input,
            response=openscale_output,
            response_time=<response_time>,  
            user_id=<user_id>)
                    ]
        ) 
Copy to clipboardSe ha copiado en el portapapeles

Tema principal: Métricas de evaluación