Quel est votre cas d'utilisation ?

Comprenez l'objectif de votre solution, si cet objectif est réalisable et utile, et comment vous pouvez déterminer quand votre solution est prête :

Tâche d'IA générative

Que doit faire le modèle ?

Sorties conversationnelles ou séparées

Déterminez si vous avez besoin d'une expérience conversationnelle où les utilisateurs discutent avec un modèle qui conserve le contexte des interactions précédentes ou si chaque interaction avec le modèle est distincte. Certaines tâches, telles que la classification, le résumé ou la génération, peuvent ne pas bénéficier d'une conversation. Les conversations coûtent plus cher que les sorties séparées parce que les conversations incluent l'historique du chat avec chaque entrée.

Faisabilité

Comprendre les limites des modèles de fondation afin de pouvoir évaluer si votre cas d'utilisation est réalisable. Par exemple, vous pouvez vérifier les scores de référence des modèles pour le type de cas d'utilisation que vous souhaitez mettre en œuvre.

Valeur commerciale

Déterminez si les avantages de la solution sont supérieurs à son coût de fonctionnement.

Critères de réussite

Décider comment mesurer le succès de la solution. Vous pouvez par exemple vous appuyer sur des mesures d'évaluation ou sur le retour d'information des utilisateurs cibles.

Qui impliquer ?

Si vous impliquez les parties prenantes appropriées dès le début, vous risquez moins de devoir changer de direction ou de répéter certaines parties du processus. Au minimum, il faut impliquer les parties prenantes de ces équipes dans le processus de planification :

Les personnes qui définissent les priorités et les processus de votre organisation

Vous avez besoin de ces personnes pour vous informer des exigences et des restrictions que vous devez respecter. Vous pouvez avoir besoin de documenter des informations spécifiques sur votre solution, de suivre un flux de travail pour vous conformer à une réglementation, ou de sélectionner un modèle avec un type de source spécifique. Par exemple, votre organisation peut exiger que vous choisissiez un modèle open source.

Les utilisateurs de la solution

Vous avez besoin de ces personnes pour définir les exigences de la solution et pour aider à tester et à valider le fonctionnement de la solution dans leurs processus.

Les personnes qui créent la solution

Ces personnes doivent être impliquées dans les décisions de conception et d'exploitation. Cette équipe de collaborateurs peut comprendre des concepteurs, des ingénieurs de données, des ingénieurs en IA, des data scientists et des responsables du risque et de la conformité. Si vous mettez en œuvre une solution de génération augmentée par extraction pour votre documentation, pensez à inclure vos rédacteurs de contenu, qui peuvent adapter le contenu à l'IA.

Comment gérer les risques et la conformité

Si vous comprenez vos risques et vos besoins en matière de conformité avant de commencer à développer votre solution, vous serez mieux préparé pour les audits ultérieurs.

Risques liés à l'IA

Comprendre les principales dimensions du risque, telles que le risque de réputation, le risque réglementaire et le risque opérationnel. Les risques liés à l'utilisation de l'IA générative comprennent les mêmes risques que pour les modèles d'apprentissage automatique traditionnels, les risques amplifiés par l'IA générative et de nouveaux risques spécifiques à l'IA générative. Par exemple, le risque de générer des résultats contenant des faits inexacts ou mensongers, que l'on qualifie d'hallucinations, est spécifique à l'IA générative.

Conformité juridique et réglementaire

Déterminez les lois et règlements auxquels vous devez vous conformer, les méthodes de suivi de la conformité et les méthodes de garantie de la conformité. Par exemple, votre organisation peut exiger une évaluation formelle des risques ou un processus d'approbation pour les solutions d'IA.

Documentation sur les cas d'utilisation

Créez un cas d'utilisation de l'IA pour recueillir toutes les informations nécessaires à la gestion d'un modèle ou d'un modèle d'invite depuis la phase de demande jusqu'à la production, en passant par le développement. Le fait de documenter votre cas d'utilisation constitue un moyen pratique de suivre vos progrès, que votre organisation l'exige ou non à des fins réglementaires.

Comment développer votre solution

Vous et votre équipe de développement pouvez choisir entre différents outils et méthodes dans l'interface utilisateur de watsonx.ai ou travailler entièrement avec du code :

Langages de codage

Si vous souhaitez écrire du code, vous avez le choix entre les API REST, Python et Node.js. Les facteurs de choix du langage incluent les préférences et les compétences de vos développeurs, la manière dont vous souhaitez déployer la solution, et la quantité de travail que votre équipe souhaite effectuer dans son environnement de développement interactif (IDE) par rapport à l'interface utilisateur de watsonx.ai

Niveau d'automatisation

Vous pouvez choisir la part du code de votre solution qui sera générée pour vous :

• Tout le code : Vous pouvez écrire du code avec les API REST dans votre IDE. Vous pouvez écrire et exécuter du code avec des bibliothèques Python à l'aide de l'éditeur notebook.

• Un peu de code : Vous pouvez générer des carnets Python à l'aide de nombreux outils, puis adapter le code en fonction des besoins. Par exemple, vous pouvez générer un bloc-notes sur la base d'un modèle d'invite ou générer plusieurs blocs-notes pour l'intégration et la vectorisation de documents.

• Pas de code : Vous pouvez effectuer toutes les tâches d'ingénierie rapide, de mise au point de modèles, d'intégration de documents et de vectorisation à l'aide d'outils.

Fonctionnalité

La plupart des fonctionnalités que vous pouvez trouver dans l'interface utilisateur de watsonx.ai sont disponibles avec des API. Cependant, les capacités diffèrent d'un outil à l'autre.

Comment choisir un modèle

Il n'est pas nécessaire de choisir un modèle avant d'élaborer un plan pour votre solution. Cependant, si vous comprenez quels sont les critères les plus importants pour vous et votre organisation, vous pouvez réduire le risque de choisir un modèle inapproprié.

Tâche

La tâche que vous souhaitez confier au modèle peut être un facteur limitant dans le choix d'un modèle. Pour de nombreuses tâches, vous pouvez choisir entre plusieurs modèles. Cependant, pour d'autres tâches modèles, telles que la traduction ou la réponse dans une langue autre que l'anglais, vous avez moins de choix.

Coût

Le coût de l'inférence varie d'un modèle à l'autre. Si la réduction des coûts d'inférence est une priorité pour vous, choisissez un modèle moins cher, un modèle plus petit, un modèle quantifié ou un modèle que vous pouvez ajuster.

Impact environnemental

En général, les modèles de grande taille ont un impact environnemental plus important, tant au niveau de l'apprentissage que de l'inférence. Les modèles plus petits et les modèles quantifiés ont un impact moindre sur l'environnement.

Précision et autres scores

Vous pouvez comparer les modèles et choisir celui qui obtient les meilleurs résultats dans les domaines les plus importants pour vous.

Indemnité et origine du modèle

Votre organisation peut avoir des politiques concernant le choix de modèles qui sont transparents sur leurs données de formation, qui sont open source ou qui offrent une indemnisation.

Personnalisation

Vous pouvez personnaliser un modèle pour un domaine spécifique en le réglant. Vous pouvez choisir de régler certains modèles fournis avec watsonx.ai dans le Tuning Tuning Studio. Vous pouvez également mettre au point un modèle dans un outil externe et importer votre modèle personnalisé dans watsonx.ai

Vous pouvez ajouter des connaissances ou des compétences aux modèles IBM Granite avec InstructLab.

Comment préparer les données

Les modèles de fondation sont formés sur de grandes quantités de données, mais pas sur les données internes de votre entreprise. Si vous avez besoin qu'un foundation model connaisse les données de votre entreprise, vous devez décider comment fournir vos données au modèle.

Documents de mise à la terre

Si vous avez besoin d'une solution qui réponde aux questions en fondant le modèle sur les informations contenues dans vos documents, vous pouvez mettre en place un modèle de génération augmentée par la recherche (RAG). Dans un modèle RAG, vous vectorisez vos documents pour une recherche efficace des passages qui répondent aux questions de l'utilisateur.

Données de réglage et de test

Si vous avez besoin d'améliorer ou d'adapter le résultat pour des tâches de traitement du langage naturel telles que la classification, le résumé et la génération, vous pouvez ajuster le modèle. Si vous souhaitez tester la qualité de votre message, vous pouvez l'évaluer à l'aide de mesures d'IA générative. Pour les deux tâches, vous devez fournir un ensemble d'exemples validés d'entrée et de sortie d'invite. Si vos données contiennent des informations sensibles, telles que des informations personnelles identifiables (IPI), assurez-vous de connaître la politique de votre organisation en matière d'IPI. Par exemple, vous pouvez avoir besoin de masquer des informations nominatives ou de générer des données synthétiques pour ajuster ou tester votre modèle.

Connaissances ou compétences

Fournir des ensembles de données qui alimentent le modèle. Vous pouvez utiliser IntructLab pour augmenter un foundation model existant avec les capacités nécessaires pour votre cas d'utilisation. Vous fournissez des exemples de semences ou des données de base qui servent à générer des données synthétiques pour l'ajustement du foundation model.

Comment évaluer la qualité et réduire les risques

Vous devez décider comment mesurer la qualité et assurer la sécurité.

Évaluation

Vous pouvez évaluer les performances de la solution et les risques par rapport à des mesures standard. Vous pouvez mesurer la précision textuelle, la similarité et la qualité des résultats du foundation model. Vous pouvez également évaluer l'équité, la performance et la dérive des résultats du modèle. Ces paramètres vous aident à vous assurer que les solutions d'IA sont exemptes de préjugés, qu'elles peuvent être facilement expliquées et comprises par les utilisateurs professionnels et qu'elles sont vérifiables dans les transactions commerciales.

Glissières de sécurité

Vous pouvez activer les garde-fous pour supprimer le contenu potentiellement dangereux ou le contenu PII du texte d'entrée et de sortie des invites.

Tests

Envisager la mise en place d'une équipe rouge pour simuler des attaques adverses.

Comment optimiser et gérer les modèles de fondation

Vous pouvez optimiser un foundation model en termes de précision, de coût, de latence d'inférence et de contrôle du cycle de vie du modèle.

Optimisation par défaut

IBM propose un ensemble de modèles de base qui sont déployés sur du matériel multi-tenant. Vous payez l'inférence par jeton. IBM contrôle le cycle de vie des modèles en les mettant à jour et en les supprimant. Lorsqu'un modèle est obsolète, vous devez mettre à jour votre solution pour inférer la nouvelle version du modèle ou un modèle différent.

Optimiser la précision et les coûts

Si vous souhaitez améliorer la précision de votre invite et réduire les coûts en déférençant un foundation model plus petit, vous pouvez accorder une invite à un foundation model fourni. Vous déployez un modèle d'accord d'invite sur du matériel multilocataire et payez l'inférence par jeton.

Optimiser la précision et le contrôle

Si vous avez formé ou ajusté un modèle en dehors de watsonx.ai pour votre cas d'utilisation, vous pouvez importer et déployer un modèle personnalisé. Vous déployez le modèle sur du matériel dédié. Vous payez à l'heure pour l'hébergement du modèle et non pour l'inférence. Vous contrôlez le cycle de vie du modèle.

Optimiser la latence et le contrôle

Si votre solution doit prendre en charge un grand nombre d'utilisateurs simultanés, vous pouvez déployer un modèle de déploiement à la demande fourni par IBM sur du matériel dédié. Le matériel dédié offre une latence plus faible que le matériel multi-locataires. Vous payez à l'heure pour l'hébergement du modèle et non pour l'inférence. Vous contrôlez le cycle de vie du modèle.

Comment fournir et maintenir votre solution

Vous devez décider comment fournir votre solution d'IA générique et contribuer à garantir sa qualité continue.

Déployer votre solution

Pour l'inférence d'un foundation model, vous déployez un point final que vous appelez dans votre application pour inférer le modèle. En fonction de l'architecture de votre solution d'IA générique, le point final peut se trouver dans un extrait de code, une fonction Python, un service d'IA ou un code développé par votre équipe.

Gérer ModelOps avec des espaces de déploiement

Vous pouvez prendre en charge un flux ModelOps en créant des espaces de déploiement distincts pour les versions de test, de préparation et de production de votre solution. Vous pouvez gérer l'accès à votre solution de production en ajoutant les collaborateurs appropriés à chaque espace.

Monitoring

Comme pour l'évaluation de votre solution au cours de son développement, vous pouvez contrôler les performances de la solution et les risques, tels que l'équité, la qualité et l'explicabilité. Vous pouvez visualiser les tendances dans le temps et définir des seuils pour vous alerter en cas de baisse des performances.

Commentaires en retour des utilisateurs

Envisagez de mettre en place un mécanisme de retour d'information de la part des utilisateurs et de créer un processus pour recueillir ce retour d'information et améliorer votre solution en conséquence. Par exemple, si vous mettez en œuvre un modèle RAG, vous pouvez ajouter un mécanisme de retour d'information permettant aux utilisateurs d'évaluer les réponses à leurs questions. Vous pouvez mettre en place un processus d'évaluation des réponses incorrectes et inadéquates et soit adapter le modèle RAG, soit adapter votre contenu pour fournir de meilleures réponses.

En savoir plus

• Comparaison des outils avec le code

Sujet parent : Planifier une solution d'IA générative