0 / 0
Retourner à la version anglaise de la documentation
Démarrage rapide: évaluation et suivi d'un modèle d'invite

Démarrage rapide: évaluation et suivi d'un modèle d'invite

Suivez ce tutoriel pour savoir comment évaluer et suivre un modèle d'invite. Vous pouvez évaluer des modèles d'invite dans des projets ou des espaces de déploiement pour mesurer les performances des tâches de modèle de base et comprendre comment votre modèle génère des réponses. Ensuite, vous pouvez suivre le modèle d'invite dans un scénario d'utilisation d'IA pour capturer et partager des faits sur l'actif afin de vous aider à atteindre les objectifs de gouvernance et de conformité.

Services requis
watsonx.governance

Votre flux de travaux de base inclut les tâches suivantes :

  1. Ouvrez un projet contenant le modèle d'invite à évaluer. Dans les projets, vous pouvez collaborer avec d'autres personnes pour utiliser des actifs.
  2. Evaluer un modèle d'invite à l'aide de données de test.
  3. Passez en revue les résultats de la fiche d'information sur l'IA.
  4. Suivez le modèle d'invite évalué dans un cas d'utilisation d'IA.
  5. Déployez et testez votre modèle d'invite évalué.

En savoir plus sur les modèles d'invite

Avec watsonx.governance, vous pouvez évaluer les modèles d'invite dans les projets afin de mesurer l'efficacité avec laquelle vos modèles de base génèrent des réponses pour les types de tâche suivants:

  • Classification
  • Récapitulation
  • Génération
  • Réponse aux questions
  • Extraction d'entités

En savoir plus sur l'évaluation des modèles d'invite dans les projets

En savoir plus sur l'évaluation des modèles d'invite dans les espaces de déploiement

Regardez une vidéo sur l'évaluation et le suivi d'un modèle d'invite

Regarder la vidéo Regardez cette vidéo pour prévisualiser les étapes de ce tutoriel. Il peut y avoir de légères différences dans l'interface utilisateur affichée dans la vidéo. La vidéo est destinée à être un compagnon du tutoriel écrit.

Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.

Essayez un tutoriel pour évaluer et suivre un modèle d'invite

Dans ce tutoriel, vous exécutez les tâches suivantes :




  • Utiliser la vidéo image-in-picture

    Astuce: Démarrez la vidéo, puis au fur et à mesure que vous faites défiler le tutoriel, la vidéo passe en mode image-en-image. Fermez la table des matières vidéo pour la meilleure expérience avec l'image en image. Vous pouvez utiliser le mode image-dans-image pour pouvoir suivre la vidéo à mesure que vous effectuez les tâches de ce tutoriel. Cliquez sur les horodatages de chaque tâche à suivre.

    L'image animée suivante montre comment utiliser les fonctions d'image vidéo et de table des matières:

    Comment utiliser l'image en image et les chapitres

    Obtenir de l'aide dans la communauté

    Si vous avez besoin d'aide pour ce tutoriel, vous pouvez poser une question ou trouver une réponse dans le forum de discussion de la communautéCloud Pak for Data.

    Configurez les fenêtres de votre navigateur

    Pour une expérience optimale lors de l'exécution de ce tutoriel, ouvrez Cloud Pak for Data dans une fenêtre de navigateur et laissez cette page de tutoriel ouverte dans une autre fenêtre de navigateur pour basculer facilement entre les deux applications. Envisagez d'organiser les deux fenêtres du navigateur côte à côte pour faciliter le suivi.

    Tutoriel et interface utilisateur côte à côte

    Astuce: Si vous rencontrez une visite guidée lors de l'exécution de ce tutoriel dans l'interface utilisateur, cliquez sur Peut-être plus tard.

    Retour en haut


  • vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo à partir de 00:08.

    Vous avez besoin d'un projet pour stocker le modèle d'invite et l'évaluation. Pour créer un projet à partir d'un exemple, procédez comme suit:

    1. Accédez au projet Initiation à la gouvernance watsonx dans le concentrateur de ressources.

      1. Cliquez sur Créer un projet.

      2. Acceptez les valeurs par défaut pour le nom de projet et cliquez sur Créer.

      3. Cliquez sur Afficher le nouveau projet lorsque le projet a été créé.

    2. Associez un service Watson Machine Learning au projet:

      1. Lorsque le projet s'ouvre, cliquez sur l'onglet Gérer et sélectionnez la page Services et intégrations .

      2. Dans l'onglet ServicesIBM , cliquez sur Associer un service.

      3. Sélectionnez votre instance Watson Machine Learning . Si vous ne disposez pas encore d'une instance de service Watson Machine Learning mise à disposition, procédez comme suit:

        1. Cliquez sur Nouveau service.

        2. Sélectionnez Watson Machine Learning.

        3. Cliquez sur Créer.

        4. Sélectionnez la nouvelle instance de service dans la liste.

      4. Cliquez sur Associer un service.

      5. Si nécessaire, cliquez sur Annuler pour revenir à la page Services & Intégrations .

    3. Cliquez sur l'onglet Actifs dans le projet pour afficher les exemples d'actifs.

    Pour plus d'informations ou pour regarder une vidéo, voir Création d'un projet.

    Pour plus d'informations sur les services associés, voir Ajout de services associés.

    Icône de point de contrôle Vérifiez votre progression

    L'image suivante montre l'onglet Actifs du projet. Vous êtes maintenant prêt à évaluer l'exemple de modèle d'invite dans le projet.

    Exemples d'actifs de projet


    Retour en haut


  • vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo à partir de 00:36.

    L'exemple de projet contient quelques modèles d'invite et fichiers CSV utilisés comme données de test. Procédez comme suit pour télécharger les données de test et évaluer l'un des exemples de modèle d'invite:

    1. Téléchargez les données de test à partir de l'exemple de projet.

      1. Cliquez sur l'onglet Actifs.
      2. Pour le fichier Insurance claim summarization test data.csv , cliquez sur le menu Overflow Menu déroulant dynamiqueet sélectionnez Download.
      3. Sauvegardez le fichier CSV en local.
    2. Cliquez sur Insurance claim summarization pour ouvrir le modèle d'invite dans Prompt Lab, puis cliquez sur Editer.

    3. Cliquez sur l'icône Variables d'invite Variables d'invite.

      Remarque: Pour exécuter des évaluations, vous devez créer au moins une variable d'invite.
    4. Faites défiler l'écran jusqu'à la section Try . Notez la variable {input} dans la zone Entrée . Vous devez inclure la variable d'invite comme entrée pour tester votre invite. Une variable d'invite est un mot clé de marque de réservation que vous incluez dans le texte statique de votre invite lors de la création et que vous remplacez par du texte dynamiquement lors de l'exécution.

    5. Cliquez sur l'icône Evaluer Icône d'évaluation .

    6. Développez la section Qualité de l'IA générative pour afficher la liste des dimensions. Les métriques disponibles dépendent du type de tâche de l'invite. Par exemple, la récapitulation a des indicateurs différents de la classification.

    7. Cliquez sur Suivant.

    8. Sélectionnez les données de test:

      1. Cliquez sur Parcourir.
      2. Sélectionnez le fichier Insurance claim summarization test data.csv .
      3. Cliquez sur Ouvrir.
      4. Pour la colonne d'entrée, sélectionnez Insurance_Claim.
      5. Pour la colonne de sortie de référence, sélectionnez Récapitulatif.
      6. Cliquez sur Suivant.
    9. Cliquez sur Evaluer. Une fois l'évaluation terminée, les résultats du test apparaissent dans l'onglet Evaluer .

    10. Cliquez sur l'onglet Fiche technique de l'IA .

      1. Affichez les informations sur chacune des sections de l'onglet.
      2. Cliquez sur Evaluation > Développement > Test pour afficher à nouveau les résultats du test.

    Icône de point de contrôle Vérifiez votre progression

    L'image suivante montre les résultats de l'évaluation. Vous pouvez maintenant commencer à suivre le modèle d'invite dans un cas d'utilisation d'IA.

    Résultats du test d'évaluation de modèle d'invite


    Retour en haut


  • vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo à partir de 01:54.

    Vous utilisez un inventaire de modèle pour stocker et examiner les cas d'utilisation de l'intelligence artificielle. Les cas d'utilisation de l'intelligence artificielle collectent des faits de gouvernance pour les actifs de l'intelligence artificielle suivis par votre organisation. Vous pouvez afficher tous les cas d'utilisation de l'IA dans un inventaire. Pour créer un inventaire de modèle et un cas d'utilisation d'IA, procédez comme suit:

    Créer un inventaire de modèle

    1. Dans le menu de navigation Menu de navigation, sélectionnez Gouvernance de l'IA > Cas d'utilisation de l'IA.

    2. Gérez vos inventaires:

      • Si vous disposez d'un inventaire existant, vous pouvez passer à l'étape Créer un nouveau cas d'utilisation d'IA pour utiliser cet inventaire.
      • Si vous n'avez pas d'inventaire, cliquez sur Gérer les inventaires.
      1. Cliquez sur Nouvel inventaire.

      2. Pour le nom, copiez et collez le texte suivant:

        Golden Bank Insurance Inventory
        
      3. Pour la description, copiez et collez le texte suivant:

        Model inventory for insurance related processing
        
      4. Désélectionnez l'option Ajouter des collaborateurs après la création .

      5. Sélectionnez votre instance Cloud Object Storage dans la liste.

      6. Cliquez sur Créer.

    3. Fermez la page Gérer les inventaires .

    Icône de point de contrôle Vérifiez votre progression

    L'image suivante montre l'inventaire du modèle. Vous êtes maintenant prêt à créer un cas d'utilisation d'IA.

    Inventaire des modèles

    Créer un cas d'utilisation d'IA

    1. Cliquez sur Nouveau cas d'utilisation de l'IA.

    2. Pour Nom, copiez et collez le texte suivant:

      Insurance claims processing AI use case
      
    3. Sélectionnez un inventaire de modèle existant.

    4. Cliquez sur Créer pour accepter les valeurs par défaut pour le reste des zones.

    Icône de point de contrôle Vérifiez votre progression

    L'image suivante illustre le cas d'utilisation de l'IA. Vous êtes maintenant prêt à suivre le modèle d'invite.

    Cas d'utilisation de l'IA


    Retour en haut


  • vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 02:33.

    Vous pouvez suivre votre modèle d'invite dans un scénario d'utilisation d'IA pour signaler le processus de développement et de test à vos homologues. Pour commencer à suivre le modèle d'invite, procédez comme suit:

    1. Dans le menu de navigation Menu de navigation, sélectionnez Projets > Afficher tous les projets.
    2. Sélectionnez le projet Initiation à la gouvernance watsonx .
    3. Cliquez sur l'onglet Actifs.
    4. Dans le menu Dépassement menu déroulant dynamique du modèle d'invite Insurance claim summarization , sélectionnez View AI Factsheet.
    5. Dans l'onglet Fiche technique de l'IA , cliquez sur la page Gouvernance .
    6. Cliquez sur Suivre un cas d'utilisation d'IA.
    7. Sélectionnez le cas d'utilisation de l'IA pour le traitement des réclamations d'assurance.
    8. Cliquez sur Suivant.
    9. Sélectionnez une approche.
    10. Cliquez sur Suivant.
    11. Pour la version de modèle, sélectionnez Expérimental.
    12. Acceptez la valeur par défaut du numéro de version.
    13. Cliquez sur Suivant.
    14. Passez en revue les informations, puis cliquez sur Suivi de l'actif.
    15. Lorsque le suivi du modèle commence correctement, cliquez sur l'icône Afficher les détails Icône Afficher les détails pour ouvrir le cas d'utilisation de l'IA.
    16. Cliquez sur l'onglet Cycle de vie pour afficher le modèle d'invite dans la phase Développement .

    Icône de point de contrôle Vérifiez votre progression

    L'image suivante montre l'onglet Cycle de vie dans le cas d'utilisation de l'IA avec le modèle d'invite dans la phase de développement. Vous êtes maintenant prêt à passer à la phase de validation

    Onglet Cycle de vie dans le cas d'utilisation de l'IA


    Retour en haut


  • vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 03:22.

    Généralement, l'ingénieur d'invite évalue l'invite avec les données de test et l'ingénieur de validation valide l'invite. L'ingénieur de validation a accès aux données de validation que les ingénieurs d'invite peuvent ne pas avoir. Dans ce cas, les données de validation se produisent dans un autre projet. Procédez comme suit pour exporter le projet de développement et l'importer en tant que nouveau projet de validation afin de déplacer l'actif dans la phase de validation du cycle de vie de l'IA:

    1. Dans le menu de navigation Menu de navigation, sélectionnez Projets > Afficher tous les projets.

    2. Sélectionnez le projet Initiation à la gouvernance watsonx .

    3. Cliquez sur l'icône Importer / Exporter Icône Importer / Exporter > Exporter le projet.

    4. Cochez la case pour sélectionner tous les actifs.

    5. Cliquez sur Exporter.

    6. Pour le nom de projet, copiez et collez le texte suivant, puis cliquez sur Sauvegarder.

      validation project.zip
      
    7. Une fois l'exportation du projet terminée, cliquez sur Retour au projet.

    8. Dans le menu de navigation Menu de navigation, sélectionnez Projets > Afficher tous les projets.

    9. Cliquez sur Nouveau projet.

      1. Sélectionnez Créer un projet à partir d'un exemple de fichier.

      2. Cliquez sur Parcourir.

      3. Sélectionnez le fichier validation project.zip, puis cliquez sur Ouvrir.

      4. Pour le nom de projet, copiez et collez le texte suivant:

        Validation project
        
      5. Cliquez sur Créer.

    10. Une fois le projet créé, cliquez sur Afficher le nouveau projet.1. Suivez les mêmes étapes qu'à l' étape 1 pour associer votre service Watson Machine Learning à ce projet.

    Icône de point de contrôle Vérifiez votre progression

    L'image suivante montre l'onglet Actifs du projet de validation. Vous êtes maintenant prêt à évaluer l'exemple de modèle d'invite dans le projet de validation.

    Actifs de projet de validation


    Retour en haut


  • vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 04:18.

    Vous êtes maintenant prêt à évaluer le modèle d'invite dans ce projet de validation à l'aide du même processus d'évaluation que précédemment. Utilisez le même jeu de données de test pour l'évaluation. Et sélectionnez les mêmes colonnes d'entrée et de sortie que précédemment. Pour valider le modèle d'invite, procédez comme suit:

    1. Cliquez sur l'onglet Actifs dans le projet de validation.
    2. Répétez les étapes de la Tâche 2 pour évaluer le modèle d'invite Synthèse du traitement des réclamations .
    3. Cliquez sur l'onglet Fiche technique de l'IA lorsque l'évaluation est terminée.
    4. Affichez les deux ensembles de résultats de test:
      1. Cliquez sur Evaluation > Développement > Test.
      2. Cliquez sur Evaluation > Valider > Test.

    Icône de point de contrôle Vérifiez votre progression

    L'image suivante montre les résultats du test de validation. Vous êtes maintenant prêt à promouvoir le modèle d'invite dans un espace de déploiement, puis à déployer le modèle d'invite.

    Résultats du test d'évaluation de modèle d'invite


    Retour en haut


  • vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 05:00.

    Promouvoir le modèle d'invite dans un espace de déploiement

    Vous promouvez le modèle d'invite dans un espace de déploiement en vue de son déploiement. Pour demander le modèle d'invite, procédez comme suit:

    1. Cliquez sur Projet de validation dans la trace de navigation des projets.
    2. Dans le menu Dépassement menu déroulant dynamique du modèle d'invite Insurance claim summarization , sélectionnez Promouvoir dans l'espace.
    3. Pour l'espace cible, sélectionnez Création d'un espace de déploiement.
      1. Pour le nom d'espace, copiez et collez le texte suivant:

        Insurance claims deployment space
        
      2. Pour l' étape de déploiement, sélectionnez Production.

        Important: Vous devez sélectionner Production pour l'étape de déploiement si vous souhaitez déplacer le déploiement de l'étape d'évaluation à l'étape d'exploitation.
      3. Sélectionnez votre service d'apprentissage automatique dans la liste.

      4. Cliquez sur Créer.

      5. Cliquez sur Fermer.

    4. Sélectionnez l'espace de déploiement Insurance claims deployment space dans la liste.
    5. Cochez l'option Aller à l'espace après avoir promu le modèle d'invite.
    6. Cliquez sur Promouvoir.

    Icône de point de contrôle Vérifiez votre progression

    L'image suivante montre le modèle d'invite dans l'espace de déploiement. Vous êtes maintenant prêt à créer un déploiement.

    Modèle d'invite dans l'espace de déploiement

    Déployer le modèle d'invite

    Vous pouvez maintenant créer un déploiement en ligne du modèle d'invite à partir de l'espace de déploiement. Pour créer un déploiement, procédez comme suit:

    1. Dans la page d'actif Insurance claims summarization de l'espace de déploiement, sélectionnez New deployment.

    2. Pour le nom de déploiement, copiez et collez le texte suivant:

      Insurance claims summarization deployment
      
    3. Cliquez sur Créer.

    Icône de point de contrôle Vérifiez votre progression

    L'image suivante montre le modèle d'invite déployé.

    Modèle d'invite déployé

    Afficher le modèle d'invite déployé

    Procédez comme suit pour afficher le modèle d'invite déployé dans sa phase actuelle du cycle de vie:

    1. Affichez le déploiement lorsqu'il est prêt. L'onglet Référence d'API fournit des informations vous permettant d'utiliser le déploiement de modèle d'invite dans votre application.
    2. Cliquez sur l'onglet Tester. L'onglet Test vous permet de soumettre une instruction et une entrée pour tester le déploiement.
    3. Cliquez sur Générer. Fermez la fenêtre des résultats.
    4. Cliquez sur l'onglet Fiche technique de l'IA . La fiche d'information de l'IA indique que le modèle d'invite est maintenant en phase d'exploitation.
    5. Faites défiler l'écran jusqu'au bas de la page AI Factsheet et cliquez sur la flèche pour plus de détails.
    6. Sélectionnez Evaluation > Operate > Deployment 1 page.
    7. Cliquez sur l'icône Afficher les détails Icône Afficher les détails en haut de la fiche technique pour ouvrir le cas d'utilisation de l'intelligence artificielle.
    8. Cliquez sur l'onglet Cycle de vie .
    9. Cliquez sur le modèle d'invite Insurance claim summarization dans la phase Operate . Lorsque vous avez terminé, cliquez sur Annuler.
    10. Cliquez sur le déploiement du modèle d'invite Insurance claims summarization deployment dans la phase Operate .

    Icône de point de contrôle Vérifiez votre progression

    L'image suivante présente le modèle d'invite du modèle d'invite dans la phase d'exploitation du cycle de vie.

    Modèle d'invite dans la phase d'exploitation


    Retour en haut

Etapes suivantes

Essayez l'un des autres tutoriels:

Ressources supplémentaires

  • Afficher plus de vidéos.

  • Recherchez des exemples d'ensembles de données, de projets, de modèles, d'invites et de blocs-notes dans le concentrateur de ressources pour acquérir une expérience pratique:

    Icône de bloc-notes Notebooks que vous pouvez ajouter à votre projet pour commencer à analyser les données et à générer des modèles.

    Icône de projet Projets que vous pouvez importer contenant des blocs-notes, des ensembles de données, des invites et d'autres actifs.

    Icône d'ensemble de données Ensembles de données que vous pouvez ajouter à votre projet pour affiner, analyser et générer des modèles.

    Icône d'invite Invites que vous pouvez utiliser dans le Prompt Lab pour inviter un modèle de base.

    Icône de modèle Modèles Foundation que vous pouvez utiliser dans Prompt Lab.

Rubrique parent: Tutoriels de démarrage rapide

Recherche et réponse à l'IA générative
Ces réponses sont générées par un modèle de langue de grande taille dans watsonx.ai en fonction du contenu de la documentation du produit. En savoir plus