Démarrage rapide: évaluation et suivi d'un modèle d'invite
Suivez ce tutoriel pour savoir comment évaluer et suivre un modèle d'invite. Vous pouvez évaluer des modèles d'invite dans des projets ou des espaces de déploiement pour mesurer les performances des tâches de modèle de base et comprendre comment votre modèle génère des réponses. Ensuite, vous pouvez suivre le modèle d'invite dans un scénario d'utilisation d'IA pour capturer et partager des faits sur l'actif afin de vous aider à atteindre les objectifs de gouvernance et de conformité.
- Services requis
- watsonx.governance
Votre flux de travaux de base inclut les tâches suivantes :
- Ouvrez un projet contenant le modèle d'invite à évaluer. Dans les projets, vous pouvez collaborer avec d'autres personnes pour utiliser des actifs.
- Evaluer un modèle d'invite à l'aide de données de test.
- Passez en revue les résultats de la fiche d'information sur l'IA.
- Suivez le modèle d'invite évalué dans un cas d'utilisation d'IA.
- Déployez et testez votre modèle d'invite évalué.
En savoir plus sur les modèles d'invite
Avec watsonx.governance, vous pouvez évaluer les modèles d'invite dans les projets afin de mesurer l'efficacité avec laquelle vos modèles de base génèrent des réponses pour les types de tâche suivants:
- Classification
- Récapitulation
- Génération
- Réponse aux questions
- Extraction d'entités
En savoir plus sur l'évaluation des modèles d'invite dans les projets
En savoir plus sur l'évaluation des modèles d'invite dans les espaces de déploiement
Regardez une vidéo sur l'évaluation et le suivi d'un modèle d'invite
Regardez cette vidéo pour prévisualiser les étapes de ce tutoriel. Il peut y avoir de légères différences dans l'interface utilisateur affichée dans la vidéo. La vidéo est destinée à être un compagnon du tutoriel écrit.
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Essayez un tutoriel sur l'évaluation et le suivi d'un modèle d'invite
Dans ce tutoriel, vous exécutez les tâches suivantes :
- Tâche 1: Créer un cas d'utilisation d'inventaire de modèle et d'IA
- Tâche 2: Créer un projet
- Tâche 3: Evaluer l'exemple de modèle d'invite
- Tâche 4: Démarrer le suivi du modèle d'invite
- Tâche 5: Créer un nouveau projet pour validation
- Tâche 6: Valider le modèle d'invite
- Tâche 7: Déploiement du modèle d'invite
Conseils pour l'exécution de ce tutoriel
Voici quelques conseils pour réussir ce tutoriel.
Utiliser la vidéo image-in-picture
L'image animée suivante montre comment utiliser les fonctions d'image vidéo et de table des matières:
Obtenir de l'aide dans la communauté
Si vous avez besoin d'aide pour ce tutoriel, vous pouvez poser une question ou trouver une réponse dans le forum de discussion de la communautéwatsonx.
Configurez les fenêtres de votre navigateur
Pour une expérience optimale lors de l'exécution de ce tutoriel, ouvrez Cloud Pak for Data dans une fenêtre de navigateur et laissez cette page de tutoriel ouverte dans une autre fenêtre de navigateur pour basculer facilement entre les deux applications. Envisagez d'organiser les deux fenêtres du navigateur côte à côte pour faciliter le suivi.
Tâche 1: Créer un inventaire de modèle et un scénario d'utilisation d'IA
Pour prévisualiser cette tâche, regardez la vidéo à partir de 00:09.
Un inventaire de modèle permet de stocker et d'examiner les cas d'utilisation de l'IA. Les cas d'utilisation de l'intelligence artificielle collectent des faits de gouvernance pour les actifs de l'intelligence artificielle suivis par votre organisation. Vous pouvez afficher tous les cas d'utilisation de l'IA dans un inventaire.
Tâche 1a: Créer un inventaire de modèles
Pour créer un inventaire de modèle, procédez comme suit:
Dans le Menu de navigation
, choisissez Gouvernance de l'IA > Cas d'utilisation de l'IA.Gérez vos inventaires:
- Si vous disposez d'un inventaire existant, vous pouvez passer à l'étape Créer un nouveau cas d'utilisation d'IA pour utiliser cet inventaire.
- Si vous n'avez pas d'inventaire, cliquez sur Gérer les inventaires.
Cliquez sur Nouvel inventaire.
Pour le nom, copiez et collez le texte suivant:
Golden Bank Insurance InventoryPour la description, copiez et collez le texte suivant:
Model inventory for insurance related processingDésélectionnez l'option Ajouter des collaborateurs après la création . Vous pouvez restreindre l'accès au niveau de l'inventaire et du cas d'utilisation de l'intelligence artificielle.
Sélectionnez votre instance Cloud Object Storage dans la liste.
Cliquez sur Créer.
Fermez la page Gérer les inventaires .
Vérifiez votre progression
L'image suivante montre l'inventaire du modèle. Vous êtes maintenant prêt à créer un cas d'utilisation d'IA.
Tâche 1b: Création d'un cas d'utilisation d'IA
Un cas d'utilisation d'IA est un problème métier défini que vous pouvez résoudre à l'aide de l'IA. Elles sont généralement définies avant le développement d'un actif d'IA. Pour créer un cas d'utilisation d'IA, procédez comme suit:
Cliquez sur Nouveau cas d'utilisation de l'IA.
Pour Nom, copiez et collez le texte suivant:
Insurance claims processing AI use caseSélectionnez un inventaire de modèle existant.
Cliquez sur Créer pour accepter les valeurs par défaut pour le reste des zones.
Vérifiez votre progression
L'image suivante illustre le cas d'utilisation de l'IA. Vous êtes maintenant prêt à suivre le modèle d'invite.
Tâche 2: Créer un projet
Pour prévisualiser cette tâche, regardez la vidéo à partir de 00:51.
Vous avez besoin d'un projet pour stocker le modèle d'invite et l'évaluation. Si vous avez déjà créé le projet, ignorez l'étape 1 de cette tâche et associez ensuite le service Watson Machine Learning à l'exemple de projet. Sinon, procédez comme suit pour créer un projet basé sur un exemple:
Accédez au projet Initiation à la gouvernance watsonx dans le concentrateur de ressources.
Cliquez sur Créer un projet.
Acceptez les valeurs par défaut pour le nom de projet et cliquez sur Créer.
Cliquez sur Afficher le nouveau projet lorsque le projet a été créé.
Associez un Watson Machine Learning Service au projet. Pour plus d'informations, voir Watson Machine Learning.
Lorsque le projet s'ouvre, cliquez sur l'onglet Gérer et sélectionnez la page Services et intégrations .
Dans l'onglet ServicesIBM , cliquez sur Associer un service.
Sélectionnez votre instance Watson Machine Learning . Si vous ne disposez pas encore d'une instance de service Watson Machine Learning mise à disposition, procédez comme suit:
Cliquez sur Nouveau service.
Sélectionnez Watson Machine Learning.
Cliquez sur Créer.
Sélectionnez la nouvelle instance de service dans la liste.
Cliquez sur Associer un service.
Si nécessaire, cliquez sur Annuler pour revenir à la page Services & Intégrations .
Cliquez sur l'onglet Actifs dans le projet pour afficher les exemples d'actifs.
Pour plus d'informations ou pour regarder une vidéo, voir Création d'un projet.
Pour plus d'informations sur les services associés, voir Ajout de services associés.
Vérifiez votre progression
L'image suivante montre l'onglet Actifs du projet. Vous êtes maintenant prêt à évaluer l'exemple de modèle d'invite dans le projet.
Tâche 3: Evaluer l'exemple de modèle d'invite
Pour prévisualiser cette tâche, regardez la vidéo qui commence à 01:28.
L'exemple de projet contient quelques modèles d'invite et fichiers CSV utilisés comme données de test. Procédez comme suit pour télécharger les données de test et évaluer l'un des exemples de modèle d'invite:
Téléchargez les données de test à partir de l'exemple de projet. Vous devez fournir un fichier local pour les données de test lors de l'évaluation.
- Cliquez sur l'onglet Actifs.
- Pour le fichier Insurance claim summarization test data.csv , cliquez sur le menu Overflow
et sélectionnez Download. - Sauvegardez le fichier CSV en local.
Cliquez sur Insurance claim summarization pour ouvrir le modèle d'invite dans Prompt Lab, puis cliquez sur Edit.
Cliquez sur l'icône Variables d'invite
.Remarque: Pour exécuter des évaluations, vous devez créer au moins une variable d'invite.Faites défiler l'écran jusqu'à la section Try . Notez la variable
{input}dans la zone Entrée . Vous devez inclure la variable d'invite comme entrée pour tester votre invite. Une variable d'invite est un mot clé de marque de réservation que vous incluez dans le texte statique de votre invite lors de la création et que vous remplacez par du texte dynamiquement lors de l'exécution.Cliquez sur l'icône Evaluer
.Développez la section Qualité de l'IA générative pour afficher la liste des dimensions. Les métriques disponibles dépendent du type de tâche de l'invite. Par exemple, la récapitulation a des indicateurs différents de la classification.
Cliquez sur Suivant.
Sélectionnez les données de test:
- Cliquez sur Parcourir.
- Sélectionnez le fichier Insurance claim summarization test data.csv que vous avez précédemment téléchargé.
- Cliquez sur Ouvrir.
- Pour la colonne d'entrée, sélectionnez Insurance_Claim.
- Pour la colonne de sortie de référence, sélectionnez Récapitulatif.
- Cliquez sur Suivant.
Cliquez sur Evaluer. Les évaluations peuvent prendre quelques minutes. Une fois l'évaluation terminée, les résultats du test apparaissent dans l'onglet Evaluer . Cette page affiche des informations détaillées sur cette exécution d'évaluation afin que vous puissiez obtenir des informations sur les performances de votre modèle. Le récapitulatif fournit une vue d'ensemble des scores d'indicateur et des violations des seuils de score par défaut pour vos évaluations de modèle d'invite.
Cliquez sur l'onglet Fiche technique de l'IA .
- Affichez les informations sur chacune des sections de l'onglet.
- Cliquez sur Evaluation > Développement > Test pour afficher à nouveau les résultats du test.
Vérifiez votre progression
L'image suivante montre les résultats de l'évaluation. Vous pouvez maintenant commencer à suivre le modèle d'invite dans un cas d'utilisation d'IA.
Tâche 4: Démarrer le suivi du modèle d'invite
Pour prévisualiser cette tâche, regardez la vidéo qui commence à 02:37.
Vous pouvez suivre votre modèle d'invite dans un scénario d'utilisation d'IA pour signaler le processus de développement et de test à vos homologues. Pour commencer à suivre le modèle d'invite, procédez comme suit:
- Dans le menu de navigation , sélectionnez Projets > Afficher tous les projets.
- Sélectionnez le projet Initiation à la gouvernance watsonx .
- Cliquez sur l'onglet Actifs.
- Dans le menu Dépassement du modèle d'invite Insurance claim summarization , sélectionnez Go to AI Factsheet. Chaque actif d'IA possède une fiche d'information d'IA qui inclut des informations détaillées sur la façon dont l'actif a été généré, ses résultats d'évaluation tout au long du cycle de vie de l'IA et des pièces jointes supplémentaires.
- Dans l'onglet Fiche technique de l'IA , cliquez sur la page Gouvernance .
- Cliquez sur Suivre un cas d'utilisation d'IA.
- Sélectionnez le cas d'utilisation de l'IA pour le traitement des réclamations d'assurance.
- Cliquez sur Suivant.
- Sélectionnez une approche. Une approche est une facette de la solution au problème métier représenté par le cas d'utilisation de l'IA. Par exemple, vous pouvez créer des approches pour suivre plusieurs modèles d'invite dans un cas d'utilisation.
- Cliquez sur Suivant.
- Pour la version de modèle, sélectionnez Expérimental.
- Acceptez la valeur par défaut du numéro de version.
- Cliquez sur Suivant.
- Passez en revue les informations, puis cliquez sur Suivi de l'actif.
- Lorsque le suivi du modèle commence correctement, cliquez sur l'icône Afficher les détails
pour ouvrir le cas d'utilisation de l'IA. - Cliquez sur l'onglet Cycle de vie pour afficher le modèle d'invite dans la phase Développement . Au fur et à mesure que le modèle d'invite passe par le cycle de vie de l'IA, il passe par les phases suivantes:
- Phase de développement : actifs d'IA qui ont été développés dans un environnement de projet.
- Phase Test : modèles d'apprentissage automatique qui ont été déployés dans un espace à des fins de test.
- Phase Valider : actifs d'intelligence artificielle qui ont été déployés dans un espace ou un projet pour validation.
- Phase Exploitation : actifs d'intelligence artificielle déployés dans un espace à des fins d'exploitation.
Vérifiez votre progression
L'image suivante montre l'onglet Cycle de vie dans le cas d'utilisation de l'IA avec le modèle d'invite dans la phase de développement. Vous êtes maintenant prêt à passer à la phase de validation.
Tâche 5: Créer un nouveau projet pour validation
Pour prévisualiser cette tâche, regardez la vidéo qui commence à 03:27.
Généralement, l'ingénieur d'invite évalue l'invite avec les données de test et l'ingénieur de validation valide l'invite. L'ingénieur de validation a accès aux données de validation que les ingénieurs d'invite peuvent ne pas avoir. Dans ce cas, les données de validation se produisent dans un autre projet. Procédez comme suit pour exporter le projet de développement et l'importer en tant que nouveau projet de validation afin de déplacer l'actif dans la phase de validation du cycle de vie de l'IA:
Dans le menu de navigation
, sélectionnez Projets > Afficher tous les projets.Sélectionnez le projet Initiation à la gouvernance watsonx .
Cliquez sur l'icône Importer / Exporter
> Exporter le projet.Cochez la case pour sélectionner tous les actifs.
Pour le nom de projet, copiez et collez le texte suivant, puis cliquez sur Sauvegarder.
validation project.zip ```1. Click **Export**.Une fois l'exportation du projet terminée, cliquez sur Retour au projet.
Dans le menu de navigation
, sélectionnez Projets > Afficher tous les projets.Cliquez sur Nouveau projet.
Sélectionnez Fichier local.
Cliquez sur Parcourir.
Sélectionnez le fichier validation project.zip, puis cliquez sur Ouvrir.
Pour le nom de projet, copiez et collez le texte suivant:
Validation projectCliquez sur Créer.
Une fois le projet créé, cliquez sur Afficher le nouveau projet.1. Suivez les mêmes étapes qu'à l' étape 1 pour associer votre service Watson Machine Learning à ce projet.
Vérifiez votre progression
L'image suivante montre l'onglet Actifs du projet de validation. Vous êtes maintenant prêt à évaluer l'exemple de modèle d'invite dans le projet de validation.
Tâche 6: Valider le modèle d'invite
Pour prévisualiser cette tâche, regardez la vidéo qui commence à 04:22.
Vous êtes maintenant prêt à évaluer le modèle d'invite dans ce projet de validation à l'aide du même processus d'évaluation que précédemment. Utilisez le même jeu de données de test pour l'évaluation. Et sélectionnez les mêmes colonnes d'entrée et de sortie que précédemment. Pour valider le modèle d'invite, procédez comme suit:
- Cliquez sur l'onglet Actifs dans le projet de validation.
- Répétez les étapes de la Tâche 2 pour évaluer le modèle d'invite Synthèse du traitement des réclamations .
- Cliquez sur l'onglet Fiche technique de l'IA lorsque l'évaluation est terminée.
- Affichez les deux ensembles de résultats de test:
- Cliquez sur Evaluation > Développement > Test.
- Cliquez sur Evaluation > Valider > Test.
Vérifiez votre progression
L'image suivante montre les résultats du test de validation. Vous êtes maintenant prêt à promouvoir le modèle d'invite dans un espace de déploiement, puis à déployer le modèle d'invite.
Tâche 7: Déployer le modèle d'invite
Pour prévisualiser cette tâche, regardez la vidéo qui commence à 05:04.
Tâche 7a: Promouvoir le modèle d'invite dans un espace de déploiement
Vous promouvez le modèle d'invite dans un espace de déploiement en vue de son déploiement. Pour demander le modèle d'invite, procédez comme suit:
- Cliquez sur Projet de validation dans la trace de navigation des projets.
- Dans le menu Dépassement du modèle d'invite Insurance claim summarization , sélectionnez Promouvoir dans l'espace.
- Pour l'espace cible, sélectionnez Création d'un espace de déploiement.
Pour le nom d'espace, copiez et collez le texte suivant:
Insurance claims deployment spacePour l' étape de déploiement, sélectionnez Production.
Important: Vous devez sélectionner Production pour l'étape de déploiement si vous souhaitez déplacer le déploiement de l'étape d'évaluation à l'étape d'exploitation.Sélectionnez votre service d'apprentissage automatique dans la liste.
Cliquez sur Créer.
Cliquez sur Fermer.
- Sélectionnez l'espace de déploiement Insurance claims deployment space dans la liste.
- Cochez l'option Aller à l'espace après avoir promu le modèle d'invite.
- Cliquez sur Promouvoir.
Vérifiez votre progression
L'image suivante montre le modèle d'invite dans l'espace de déploiement. Vous êtes maintenant prêt à créer un déploiement.
Tâche 7b: Déploiement du modèle d'invite
Vous pouvez maintenant créer un déploiement en ligne du modèle d'invite à partir de l'espace de déploiement. Pour créer un déploiement, procédez comme suit:
Dans la page d'actif Insurance claims summarization de l'espace de déploiement, sélectionnez New deployment.
Pour le nom de déploiement, copiez et collez le texte suivant:
Insurance claims summarization deploymentCliquez sur Créer.
Vérifiez votre progression
L'image suivante montre le modèle d'invite déployé.
Tâche 7c: Afficher le modèle d'invite déployé
Procédez comme suit pour afficher le modèle d'invite déployé dans sa phase actuelle du cycle de vie:
- Affichez le déploiement lorsqu'il est prêt. L'onglet Référence d'API fournit des informations vous permettant d'utiliser le déploiement de modèle d'invite dans votre application.
- Cliquez sur l'onglet Tester. L'onglet Test vous permet de soumettre une instruction et une entrée pour tester le déploiement.
- Cliquez sur Générer. Fermez la fenêtre des résultats.
- Cliquez sur l'onglet Fiche technique de l'IA . La fiche d'information de l'IA indique que le modèle d'invite est maintenant en phase d'exploitation.
- Faites défiler l'écran jusqu'au bas de la page AI Factsheet et cliquez sur la flèche pour plus de détails.
- Sélectionnez Evaluation > Operate > Deployment 1 page.
- Cliquez sur l'icône Afficher les détails en haut de la fiche technique pour ouvrir le cas d'utilisation de l'intelligence artificielle.
- Cliquez sur l'onglet Cycle de vie .
- Cliquez sur le modèle d'invite Insurance claim summarization dans la phase Operate . Lorsque vous avez terminé, cliquez sur Annuler.
- Cliquez sur le déploiement du modèle d'invite Insurance claims summarization deployment dans la phase Operate .
Vérifiez votre progression
L'image suivante présente le modèle d'invite du modèle d'invite dans la phase d'exploitation du cycle de vie.
Etapes suivantes
Essayez l'un des autres tutoriels:
Ressources supplémentaires
Afficher plus de vidéos.
Recherchez des exemples d'ensembles de données, de projets, de modèles, d'invites et de blocs-notes dans le concentrateur de ressources pour acquérir une expérience pratique:
Notebooks que vous pouvez ajouter à votre projet pour commencer à analyser les données et à générer des modèles.
Projets que vous pouvez importer contenant des blocs-notes, des ensembles de données, des invites et d'autres actifs.
Ensembles de données que vous pouvez ajouter à votre projet pour affiner, analyser et générer des modèles.
Invites que vous pouvez utiliser dans le lab d'invite pour inviter un modèle de base.
Modèles Foundation que vous pouvez utiliser dans Prompt Lab.
Rubrique parent: Tutoriels de démarrage rapide