Volver a la versión inglesa de la documentación

Métricas de evaluación de usuarios

Última actualización: 14 mar 2025
Métricas de evaluación de usuarios

La métrica de usuarios calcula el número de usuarios que envían solicitudes de puntuación a las implementaciones de su modelo.

Detalles de métrica

Usuarios es una métrica de evaluación de salud modelo que puede ayudarle a comprender la eficiencia con la que su activo procesa sus transacciones.

Ámbito

La métrica de usuarios evalúa los activos de IA generativa y los modelos de aprendizaje automático.

  • Tareas de IA generativa :
    • Resumen de texto
    • Clasificación de texto
    • Generación de contenido
    • Extracción de entidades
    • Respuesta a preguntas
    • Generación aumentada de recuperación (RAG)
  • Tipo de problema de aprendizaje automático :
    • Clasificación binaria
    • Clasificación de varias clases
    • Regresión
  • Idiomas disponibles : inglés

Proceso de evaluación

Para calcular el número de usuarios, se utiliza el user_id de las solicitudes de puntuación para identificar a los usuarios que envían las solicitudes de puntuación que recibe su modelo.

Para implementaciones de Runtime de watsonx.ai, el valor de user_id se detecta automáticamente cuando configura evaluaciones.

Para implementaciones externas y personalizadas, debe especificar el valor user_id cuando envíe solicitudes de puntuación para calcular el número de usuarios, como se muestra en el siguiente ejemplo del SDK de Python :

    from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord    
        client.data_sets.store_records(
            data_set_id=payload_data_set_id, 
            request_body=[
                PayloadRecord(
                    scoring_id=<uuid>,
                    request=openscale_input,
                    response=openscale_output,
                    response_time=<response_time>,
                    user_id=<user_id>). --> value to be supplied by user 
            ]
        ) 

Tema principal: Métricas de evaluación