Pour avoir un aperçu de cette tâche, regardez la vidéo à partir de 00:16.

Le centre de ressources comprend un exemple de projet qui contient des modèles d'invite que vous pouvez comparer dans le studio d'évaluation. Suivez les étapes suivantes pour créer un projet basé sur un échantillon :

1. Dans l'écran d'accueil, cliquez sur l'icône Créer un nouveau projet .

2. Sélectionner l' échantillon.

3. Recherchez Getting started with watsonx.governance, sélectionnez cet exemple de projet et cliquez sur Next.

4. Choisissez une instance de service object storage existante ou crée en une nouvelle.

5. Cliquez sur Créer.

6. Attendez que l'importation du projet soit terminée, puis cliquez sur Afficher le nouveau projet.

7. Associer un service d'exécution watsonx.ai au projet. Pour plus d'informations, voir Ajout de services associés à un projet.

   1. Lorsque le projet s'ouvre, cliquez sur l'onglet Gérer et sélectionnez la page Services et intégrations.

   2. Dans l'onglet Services IBM, cliquez sur Associer un service.

   3. Sélectionnez votre instance d'exécution watsonx.ai Si vous n'avez pas encore provisionné d'instance de service watsonx.ai Runtime, suivez ces étapes :

      1. Cliquez sur Nouveau service.

      2. Sélectionnez watsonx.ai Runtime.

      3. Cliquez sur Créer.

      4. Sélectionnez la nouvelle instance de service dans la liste.

   4. Cliquez sur Associer un service.

   5. Si nécessaire, cliquez sur Annuler pour revenir à la page Services et intégrations.

8. Cliquez sur l'onglet Actifs dans le projet pour voir les exemples d'actifs.

Pour plus d'informations ou pour regarder une vidéo, voir Création d'un projet. Pour plus d'informations sur les services associés, voir Ajout de services associés.

Pour avoir un aperçu de cette tâche, regardez la vidéo à partir de 01:11.

Pour comparer les performances des aides, vous devez créer une expérience dans Evaluation Studio. Suivez les étapes suivantes pour créer l'expérience :

1. Dans l'onglet Actifs, cliquez sur Nouvel actif > Évaluer et comparer les invites.

2. Sur la page de configuration, tapez Summarization Evaluation experiment pour le nom.

3. Sélectionnez un type de tâche. Dans ce cas, vous souhaitez comparer les modèles d'invite de compression ; sélectionnez donc Compression.

4. Cliquez sur Next (Suivant) pour passer à la page Prompt templates (Modèles d'invite).

5. Sélectionnez les modèles d'invite Résumé de la demande d'assurance, 2 Résumé de la demande d'assurance et 3 Résumé de la demande d'assurance.

   Notez que ces trois modèles d'invite incluent des variables d' entrée, ce qui est une exigence du studio d'évaluation.

6. Cliquez sur Next (Suivant) pour continuer à accéder à la page Metrics (Mesures).

7. Développez les sections Qualité de l'IA générative et Santé du modèle pour passer en revue les paramètres qui seront utilisés dans l'évaluation.

8. Cliquez sur Next (Suivant) pour passer à la page Test data (Données de test).

9. Sélectionnez les données de test :

   1. Cliquez sur Sélectionner les données du projet.

   2. Sélectionnez Project file > Insurance claim summarization test data.csv.

      Les données de test que vous téléchargez doivent contenir des colonnes de sortie et d'entrée de référence pour chaque variable d'invite. Les colonnes de sortie de référence sont utilisées pour calculer les mesures basées sur la référence telles que ROUGE et BLEU.

   3. Cliquez sur Sélectionner.

   4. Dans la colonne Entrée, sélectionnez Insurance_Claim.

   5. Pour la colonne de sortie Référence, sélectionnez Synthèse.

10. Cliquez sur Suivant pour passer à la page Révision et exécution.

11. Examinez la configuration et cliquez sur Exécuter l'évaluation. Les évaluations peuvent prendre quelques minutes.

Pour avoir un aperçu de cette tâche, regardez la vidéo à partir de 02:26.

Vous êtes maintenant prêt à évaluer et à comparer les actifs de l'IA. Suivez les étapes suivantes pour examiner les résultats dans Evaluation Studio :

1. Une fois l'évaluation terminée, vous pouvez visualiser les comparaisons de métriques.

   Les graphiques comparent les résultats pour chaque modèle d'invite que vous avez sélectionné. La visualisation indique si les scores dépassent les seuils pour chaque mesure.

2. Cliquez sur la liste des enregistrements pour sélectionner une autre mesure. Par exemple, sélectionnez Analyse du contenu pour voir les mises à jour du graphique en fonction de l'indicateur sélectionné.

   

3. Survolez une barre du graphique pour en voir les détails.

4. Examinez le tableau situé sous la visualisation, qui présente les trois modèles d'invite. Notez que chacun des messages utilise un modèle de base différent.

5. Pour effectuer des comparaisons, cliquez sur l'icône Définir comme référence à côté d'un modèle d'invite.

   La définition du modèle de référence met en évidence les colonnes du tableau pour indiquer si d'autres actifs affichent des performances supérieures ou inférieures à celles de l'actif que vous sélectionnez.

6. Cliquez sur l'icône de classement personnalisé .

   

   Pour analyser les résultats, vous pouvez également créer un classement personnalisé des mesures dans différents groupes en spécifiant des facteurs de pondération et une formule de classement afin de déterminer les modèles d'invite les plus performants. Lorsque vous créez un classement personnalisé, vous pouvez sélectionner des indicateurs pertinents pour votre classement et leur attribuer un facteur de pondération. Cliquez sur Annuler.

7. Pour relancer les évaluations, cliquez sur l'icône Ajuster les paramètres . Utilisez le volet Détails de l'évaluation pour mettre à jour les données du test ou reconfigurer les métriques.

8. Pour modifier l'expérience, cliquez sur l'icône Actifs pour supprimer ou ajouter des actifs à votre évaluation afin de modifier votre comparaison.

9. Dans le tableau, cliquez sur le menu Débordement en regard d'un modèle d'invite, puis choisissez Afficher la fiche d'information AI. Les fiches d'information contiennent des détails sur le bien à chaque étape du cycle de vie de l'IA afin de vous aider à atteindre vos objectifs de gouvernance et de conformité.

10. Fermez la page de la fiche d'information sur l'IA pour revenir au studio d'évaluation.

11. À partir de là, vous pouvez commencer à suivre un modèle d'invite dans un cas d'utilisation de l'IA. Dans le tableau, cliquez sur le menu Débordement en regard d'un modèle d'invite et choisissez Suivre dans le cas d'utilisation AI.