Métricas de evaluación del rendimiento de la API

Ámbito

Copy link to section

La métrica de rendimiento de la API evalúa los activos de IA generativa y los modelos de aprendizaje automático.

• Tareas de IA generativa :
  • Resumen de texto
  • Clasificación de texto
  • Generación de contenido
  • Extracción de entidades
  • Respuesta a preguntas
  • Generación aumentada de recuperación (RAG)
• Tipo de problema de aprendizaje automático :
  • Clasificación binaria
  • Clasificación de varias clases
  • Regresión
• Idiomas disponibles : inglés

Proceso de evaluación

Copy link to section

El rendimiento medio, máximo, mediano y mínimo del API para puntuar solicitudes y registros de transacciones se calcula durante las evaluaciones del monitor de estado del modelo.

Para calcular la métrica de rendimiento de la API, se utiliza un valor de puntuación ( response_time ) de sus solicitudes de puntuación para hacer un seguimiento del tiempo que tarda la implementación de su modelo en procesar las solicitudes de puntuación.

Para implementaciones de Runtime de watsonx.ai, el valor de response_time se detecta automáticamente cuando configura evaluaciones.

Para implementaciones externas y personalizadas, debe especificar el valor response_time cuando envíe solicitudes de puntuación para calcular el rendimiento y la latencia, como se muestra en el siguiente ejemplo del SDK de Python :

    from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord            
        client.data_sets.store_records(
        data_set_id=payload_data_set_id, 
        request_body=[
        PayloadRecord(
            scoring_id=<uuid>,
            request=openscale_input,
            response=openscale_output,
            response_time=<response_time>,  
            user_id=<user_id>)
                    ]
        ) 
Copy to clipboardSe ha copiado en el portapapeles

Tema principal: Métricas de evaluación