La mesure du nombre de jetons d'entrée calcule le nombre total, moyen, minimum, maximum et médian de jetons d'entrée sur plusieurs demandes de notation au cours des évaluations.
Détails de l'indicateur
Le nombre de jetons d'entrée est une mesure du nombre de jetons pour les évaluations du moniteur d'intégrité des modèles qui calcule le nombre de jetons traités dans les demandes de notation.
Portée
L'indicateur de nombre de jetons d'entrée évalue uniquement les actifs d'IA générative.
- Tâches d'IA générative :
- Synthèse de texte
- Classification de texte
- Génération de contenu
- Extraction d'entités
- Réponse aux questions
- Récupération Augmentée Génération (RAG)
- Langues prises en charge : anglais
Processus d'évaluation
Pour calculer la métrique de comptage des jetons d'entrée, vous devez spécifier le champ input_token_count lorsque vous envoyez des demandes de scoring avec le SDK Python afin de calculer les métriques de comptage des jetons d'entrée et de sortie, comme indiqué dans l'exemple suivant :
request = {
"fields": [
"comment"
],
"values": [
[
"Customer service was friendly and helpful."
]
]
}
response = {
"fields": [
"generated_text",
"generated_token_count",
"input_token_count",
"stop_reason",
"scoring_id",
"response_time"
],
"values": [
[
"1",
2,
73,
"eos_token",
"MRM_7610fb52-b11d-4e20-b1fe-f2b971cae4af-50",
3558
],
[
"0",
3,
62,
"eos_token",
"MRM_7610fb52-b11d-4e20-b1fe-f2b971cae4af-51",
3778
]
]
}
from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord
client.data_sets.store_records(
data_set_id=payload_data_set_id,
request_body=[
PayloadRecord(
scoring_id=<uuid>,
request=request,
response=response,
response_time=<response_time>,
user_id=<user_id>). --> value to be supplied by user
]
)
Sujet parent : Indicateurs d'évaluation