Méthode d'évaluation des utilisateurs

Portée

Copy link to section

La métrique des utilisateurs évalue les ressources d'IA générative et les modèles d'apprentissage automatique.

• Tâches d'IA générative :
  • Synthèse de texte
  • Classification de texte
  • Génération de contenu
  • Extraction d'entités
  • Réponse aux questions
  • Récupération Augmentée Génération (RAG)
• Type de problème d'apprentissage automatique :
  • Classification binaire
  • Classification multiclasse
  • Régression
• Langues prises en charge : anglais

Processus d'évaluation

Copy link to section

Pour calculer le nombre d'utilisateurs, l' user_id , à partir des demandes de scoring, est utilisée pour identifier les utilisateurs qui envoient les demandes de scoring que votre modèle reçoit.

Pour les déploiements d' watsonx.ai s Runtime, la valeur d' user_id s est automatiquement détectée lorsque vous configurez les évaluations.

Pour les déploiements externes et personnalisés, vous devez spécifier la valeur user_id lorsque vous envoyez des demandes de scoring pour calculer le nombre d'utilisateurs, comme indiqué dans l'exemple suivant du SDK d' Python :

    from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord    
        client.data_sets.store_records(
            data_set_id=payload_data_set_id, 
            request_body=[
                PayloadRecord(
                    scoring_id=<uuid>,
                    request=openscale_input,
                    response=openscale_output,
                    response_time=<response_time>,
                    user_id=<user_id>). --> value to be supplied by user 
            ]
        ) 
Copy to clipboardCopié dans le presse-papiers

Sujet parent : Indicateurs d'évaluation