Métricas de evaluación de usuarios

Ámbito

Copy link to section

La métrica de usuarios evalúa los activos de IA generativa y los modelos de aprendizaje automático.

• Tareas de IA generativa :
  • Resumen de texto
  • Clasificación de texto
  • Generación de contenido
  • Extracción de entidades
  • Respuesta a preguntas
  • Generación aumentada de recuperación (RAG)
• Tipo de problema de aprendizaje automático :
  • Clasificación binaria
  • Clasificación de varias clases
  • Regresión
• Idiomas disponibles : inglés

Proceso de evaluación

Copy link to section

Para calcular el número de usuarios, se utiliza el user_id de las solicitudes de puntuación para identificar a los usuarios que envían las solicitudes de puntuación que recibe su modelo.

Para implementaciones de Runtime de watsonx.ai, el valor de user_id se detecta automáticamente cuando configura evaluaciones.

Para implementaciones externas y personalizadas, debe especificar el valor user_id cuando envíe solicitudes de puntuación para calcular el número de usuarios, como se muestra en el siguiente ejemplo del SDK de Python :

    from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord    
        client.data_sets.store_records(
            data_set_id=payload_data_set_id, 
            request_body=[
                PayloadRecord(
                    scoring_id=<uuid>,
                    request=openscale_input,
                    response=openscale_output,
                    response_time=<response_time>,
                    user_id=<user_id>). --> value to be supplied by user 
            ]
        ) 
Copy to clipboardSe ha copiado en el portapapeles

Tema principal: Métricas de evaluación