Définir un cas d'utilisation de l'IA

Un cas d'utilisation de l'IA consiste en un ensemble de fiches d'information qui contiennent la lignée, l'historique et d'autres informations pertinentes sur le cycle de vie d'un actif de l'IA, tel qu'un modèle ou un modèle d'invite.

Votre organisation peut exiger que vous suiviez et documentiez votre solution d'IA à des fins de transparence ou de conformité réglementaire. Cependant, les cas d'utilisation de l'IA sont utiles même s'ils ne sont pas nécessaires, car ils fournissent un moyen intégré de suivre les progrès, les décisions et les mesures concernant votre solution.

Pour créer un cas d'utilisation de l'IA, il faut d'abord créer un inventaire, puis un cas d'utilisation. Ajoutez des data scientists, des ingénieurs de données et d'autres utilisateurs impliqués dans la création, le test ou la gestion de votre solution en tant que collaborateurs de cas d'utilisation.

Développer des flux de travail de gouvernance

Un flux de travail de gouvernance met en œuvre un processus d'examen et d'approbation des cas d'utilisation de l'IA et de l'utilisation des modèles.

Votre organisation peut avoir besoin d'un ou de plusieurs des types de flux de travail de gouvernance suivants :

• Workflows de gouvernance du risque de modèle pour approuver les cas d'utilisation de l'IA, approuver les événements du cycle de vie du foundation model, exécuter des évaluations du risque ou automatiser le contrôle des performances des modèles.
• Des flux de travail de gestion de la conformité réglementaire pour traiter les alertes publiées par les organismes de réglementation.
• Des flux de travail pour la gestion du risque opérationnel afin de suivre le risque de modèle ainsi que d'autres risques opérationnels dans toute l'entreprise.

Pour mettre en place un flux de travail de gouvernance, vous le configurez dans la console de gouvernance.

Mise en place d'un projet

Un projet est un espace de travail collaboratif où des personnes travaillent avec des modèles et des données pour atteindre un objectif commun.

Vous avez besoin d'un projet pour élaborer des messages-guides, mener des expériences et mettre au point des modèles.

Un projet de solution générique d'IA contient généralement les types d'éléments suivants, qui sont soit explicitement ajoutés par les ingénieurs en IA, soit créés à l'issue d'un processus :

• Les ressources de connexion aux sources de données, telles qu'un magasin de vecteurs ou l'endroit où vous stockez les données d'entraînement ou de réglage.
• Actifs de données qui représentent des ensembles de données pour la formation ou la mise au point de modèles.
• Invitez les actifs de session que vous sauvegardez pour référence ultérieure.
• Les actifs du modèle d'invite qui fournissent des points d'extrémité pour l'inférence.
• Carnets de notes que vous créez ou qui sont générés par des processus tels que l'enregistrement d'une invite en tant que carnet de notes ou l'exécution d'une expérience AutoAI.
• Index vectoriels représentant des documents vectorisés pour un motif RAG.
• Les ressources d'expérimentation et de flux que vous créez à partir d'outils en cours d'exécution, tels qu' AutoAI, Tuning Studio ou Synthetic Data Generator.
• Les actifs de services d'IA qui fournissent des points d'extrémité pour les modèles d'IA génétiques, tels que RAG.
• Emplois créés par l'exécution d'actifs dans des outils.

Vous disposez d'un projet sandbox créé automatiquement. Cependant, vous pourriez vouloir créer un projet dont le nom reflète votre objectif. Vous pouvez créer un projet à partir de la page d'accueil ou du menu de navigation. Ajoutez toutes les personnes que vous souhaitez voir travailler sur la solution. Vous attribuez un rôle à chaque collaborateur pour contrôler ses autorisations dans le projet.

Préparation de vos données

La préparation des données consiste à fournir un accès aux données requises dans le format et au niveau de qualité dont votre solution a besoin.

Vous devez préparer les données si vous envisagez de fonder le modèle sur vos documents dans un modèle RAG, d'évaluer un modèle d'invite ou d'affiner un foundation model. Vous n'aurez peut-être pas besoin de préparer les données si votre cas d'utilisation consiste à traduire, résumer, classer ou générer du texte, à moins que vous ne souhaitiez effectuer des évaluations.

Pour un modèle RAG, vous transformez les documents en vecteurs intégrés pour une recherche efficace. Les documents vectorisés sont stockés dans un magasin vectoriel et récupérés à l'aide d'un index vectoriel. Vous pouvez inclure des documents dans un modèle RAG de la manière suivante :

• Téléchargez des fichiers de documents à partir de votre système local et ajoutez-les à un magasin de vecteurs
• Spécifier les documents qui se trouvent dans un magasin vectoriel existant
• Ajouter des documents d'une source de données connectée dans un magasin vectoriel

Vous pouvez choisir entre différentes méthodes pour créer un motif RAG, en fonction de la taille totale de vos documents, du niveau d'automatisation pour l'expérimentation et d'autres facteurs.

Pour l'évaluation d'un modèle d'invite ou le réglage d'un foundation model, vous fournissez un ensemble de données contenant des entrées représentatives pour le modèle et les sorties appropriées que le modèle doit générer en réponse. Vous pouvez fournir des données de réglage de la manière suivante :

• Télécharger un fichier à partir de votre système local
• Connexion à la source de données qui contient l'ensemble de données

Expérimenter les messages-guides

Une invite est la manière dont vous demandez à un foundation model générer une réponse.

Vous pouvez expérimenter les messages-guides en modifiant les conditions de la manière suivante :

• Passer du mode "chat" au mode "non chat
• Modification du texte de l'invite ou de l'invite système
• Changer le foundation model
• Ajustement des paramètres du modèle
• Activation et désactivation des glissières de sécurité
• Ajouter des images ou des documents à un chat
• Ajout de variables pour modifier dynamiquement le texte de l'invite
• Configuration des agents pour les outils d'appel

Pour développer vos invites, vous pouvez expérimenter dans le Prompt Lab ou avec l'API REST, Python ou le code Node.js. Pour automatiser la recherche d'un modèle RAG optimal, lancez une expérience AutoAI pour RAG.

Évaluation des messages-guides

L'évaluation d'une invite permet de tester la qualité des résultats du modèle pour l'ensemble des paramètres choisis. Certaines mesures sont basées sur la comparaison des résultats du modèle avec les résultats appropriés que vous fournissez dans l'ensemble de données de test. L'efficacité avec laquelle votre modèle génère des réponses est également évaluée.

Votre organisation peut avoir besoin d'évaluations pour des raisons de conformité réglementaire ou de politiques internes. Cependant, les évaluations sont utiles même lorsqu'elles ne sont pas requises, car les scores des métriques peuvent indiquer la qualité de votre solution et peuvent prédire une baisse de la satisfaction de l'utilisateur lorsque les scores chutent.

Lorsque vous évaluez une invite, vous pouvez configurer les facteurs suivants :

• La taille de l'échantillon à tester
• Quels sont les indicateurs à inclure ?
• La valeur seuil pour chaque métrique

Les mesures d'IA générative fournissent les types d'informations suivants sur l'invite :

• Degré de similitude entre le texte de sortie et le texte d'entrée
• Degré de similitude entre le texte de sortie et les textes de référence
• Le texte d'entrée ou de sortie contient-il des informations nuisibles ou sensibles ?

Vous visualisez les résultats actuels et les résultats dans le temps. Les résultats de chaque évaluation sont ajoutés au cas d'utilisation de l'invite.

Pour évaluer une invite, effectuez une évaluation dans le Prompt Lab, avec du code ou à partir d'un modèle d'invite déployé. Si vous lancez une expérience AutoAI pour un modèle RAG, les invites candidates sont évaluées et classées automatiquement.

Pour évaluer et comparer simultanément plusieurs modèles d'invite, lancez une expérience d'évaluation dans Evaluation Studio.

Optimisation d'un foundation model

L'optimisation d'un foundation model permet d'améliorer un ou plusieurs indicateurs de performance du modèle.

Vous pouvez optimiser le foundation model votre solution en termes de précision, de coût, de débit d'inférence ou de contrôle du cycle de vie du modèle.

Les méthodes de déploiement d'un foundation model varient en fonction des caractéristiques suivantes :

• La méthode de facturation est par jeton référencé ou par heure hébergée
• L'environnement d'hébergement se trouve sur du matériel multitenant ou dédié
• Le mécanisme de déploiement est assuré par IBM ou par vous-même
• Le modèle est accordé ou non
• La politique d'obsolescence est contrôlée par IBM ou par vous

Pour exécuter un modèle sur du matériel multi-tenant, payer par jeton et permettre à IBM de contrôler le cycle de vie du modèle, sélectionnez un modèle fourni et déployé par IBM.

Pour accorder un foundation model, sélectionnez une méthode d'accord, ajoutez des données d'accord et exécutez le travail dans le Tuning Tuning Studio ou avec du code. Ensuite, déployez le modèle adapté sur du matériel multi-tenant, payez par jeton et contrôlez le cycle de vie du modèle.

Pour exécuter un modèle sur du matériel dédié, payer à l'heure et contrôler le cycle de vie du modèle, vous pouvez soit importer et déployer un modèle personnalisé, soit déployer un modèle à la demande.

Déployer votre solution

Le déploiement d'un actif le rend disponible pour des tests ou pour une utilisation productive par un point d'extrémité. Après avoir créé des déploiements, vous pouvez les tester et les gérer, et préparer vos ressources à être déployées dans des environnements de pré-production et de production.

Vous créez des déploiements dans des espaces de déploiement, qui sont des espaces de travail distincts des projets et auxquels vous pouvez ajouter un ensemble différent de collaborateurs.

Pour déployer la plupart des types de ressources gen AI, vous devez promouvoir la ressource dans un espace de déploiement et créer un déploiement contenant un point d'extrémité. Vous pouvez ensuite appeler le point de terminaison à partir de votre application pour déduire le foundation model. Pour les modèles d'invite qui ne contiennent pas de variables, vous pouvez copier le code du point final directement à partir de Prompt Lab Vous pouvez créer des espaces de déploiement distincts pour les déploiements de tests, de staging et de production afin de prendre en charge votre flux de travail ModelOps.

Suivi et maintenance de votre solution

Après avoir intégré votre solution dans votre application et l'avoir mise en production, vous devez assurer la maintenance de votre solution. Vous pouvez également contrôler les performances du modèle. La maintenance de votre solution peut inclure la mise à jour ou le remplacement du foundation model par des versions plus récentes ou l'optimisation du modèle sur la base des évaluations ou du retour d'information des utilisateurs. Le suivi de votre solution permet d'évaluer les performances du modèle dans votre environnement de production.

Votre organisation peut vous demander de surveiller votre solution et de veiller à ce que les performances ne tombent pas en dessous des seuils spécifiés.

Pour surveiller votre solution, ouvrez le déploiement de votre solution dans l'espace de déploiement et activez les évaluations. Vous pouvez utiliser le point de terminaison de journalisation des données utiles pour envoyer des demandes de notation pour les évaluations de l'équité et de la dérive et utiliser le point de terminaison de journalisation du retour d'information pour fournir des données de retour d'information pour les évaluations de la qualité.

Si le foundation model votre solution est fourni et déployé par IBM, IBM peut remplacer ce modèle par une version plus récente. Lorsque IBM supprime le modèle de votre solution, vous devez mettre à jour votre solution pour modifier le modèle avant qu'il ne soit supprimé. Si vous avez déployé le foundation model votre solution, vous souhaiterez peut-être le mettre à jour périodiquement pour en améliorer les performances.