Puede configurar las evaluaciones del monitor de estado del modelo para ayudarle a comprender su comportamiento y rendimiento. Puede utilizar las métricas de estado del modelo para determinar la eficacia con la que el despliegue del modelo procesa las transacciones.
Cuando se activan las evaluaciones del estado del modelo, se crea un conjunto de datos de estado del modelo en el mercado de datos. El conjunto de datos de salud del modelo almacena detalles sobre sus solicitudes de puntuación que se utilizan para calcular las métricas de salud del modelo.
Para configurar evaluaciones de supervisión de estado de modelo, puede establecer valores de umbral para cada métrica tal como se muestra en el ejemplo siguiente:
Las evaluaciones del estado del modelo no son compatibles con las implantaciones previas a la producción.
Métricas de estado de modelo soportadas
Se admiten las siguientes categorías métricas para las evaluaciones de la salud del modelo. Cada categoría contiene medidas que proporcionan detalles sobre el rendimiento del modelo:
Tamaño de carga útil
Se calcula el tamaño total, medio, mínimo, máximo y medio de la carga útil de los registros de transacciones que procesa el despliegue del modelo a través de las solicitudes de puntuación en kilobytes (KB). No se admiten métricas de tamaño de carga útil para modelos de imagen.
Registros
El número total, medio, mínimo, máximo y medio de registros de transacciones que se procesan a través de las solicitudes de puntuación se calcula durante las evaluaciones de la salud del modelo.
Solicitudes de puntuación
Se calcula el número de solicitudes de puntuación que recibe su despliegue de modelos durante las evaluaciones del estado del modelo.
Rendimiento y latencia
La latencia se calcula haciendo un seguimiento del tiempo que se tarda en procesar las solicitudes de puntuación y los registros de transacciones por milisegundo (ms). El rendimiento se calcula realizando un seguimiento del número de solicitudes de puntuación y registros de transacción que se procesan por segundo.
Para calcular el rendimiento y la latencia, se utiliza el valor response_time de sus solicitudes de puntuación para realizar un seguimiento del tiempo que tarda la implementación de su modelo en procesar las solicitudes de puntuación.
Para las implantaciones de watsonx.ai Runtime, el valor ' response_time ' se detecta automáticamente al configurar las evaluaciones.
Para implementaciones externas y personalizadas, debe especificar el valor " response_time " cuando envíe solicitudes de puntuación para calcular el rendimiento y la latencia, como se muestra en el siguiente ejemplo del SDK dePython:
from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord
client.data_sets.store_records(
data_set_id=payload_data_set_id,
request_body=[
PayloadRecord(
scoring_id=<uuid>,
request=openscale_input,
response=openscale_output,
response_time=<response_time>,
user_id=<user_id>)
]
)
Las siguientes métricas se calculan para medir el rendimiento y la latencia durante las evaluaciones:
- Latencia de API: tiempo que se tarda (en ms) en procesar una solicitud de puntuación por el despliegue del modelo.
- Rendimiento de API: número de solicitudes de puntuación procesadas por el despliegue del modelo por segundo
- Latencia de registro: tiempo que se tarda (en ms) en procesar un registro por el despliegue del modelo
- Rendimiento de registro: número de registros procesados por el despliegue del modelo por segundo
Se calcula el rendimiento y la latencia medios, máximos, medios y mínimos de las solicitudes de puntuación y los registros de transacciones.
Usuarios
Se calcula el número de usuarios que envían solicitudes de puntuación a sus despliegues modelo.
Para calcular el número de usuarios, se utiliza el user_id de las solicitudes de puntuación para identificar a los usuarios que envían las solicitudes de puntuación que recibe su modelo.
Para las implantaciones de watsonx.ai Runtime, el valor ' user_id ' se detecta automáticamente al configurar las evaluaciones.
Para implantaciones externas y personalizadas, debe especificar el valor " user_id " cuando envíe solicitudes de puntuación para calcular el número de usuarios, como se muestra en el siguiente ejemplo del SDK dePython:
from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord
client.data_sets.store_records(
data_set_id=payload_data_set_id,
request_body=[
PayloadRecord(
scoring_id=<uuid>,
request=openscale_input,
response=openscale_output,
response_time=<response_time>,
user_id=<user_id>). --> value to be supplied by user
]
)
Cuando vea los resultados de la métrica Usuarios, utilice la vista en tiempo real para ver el número total de usuarios y las vistas agregadas para ver el número medio de usuarios. Para obtener más información, consulte Revisión de los resultados de salud del modelo.