Sauvegarde d'un modèle RAG
Enregistrez un pipeline d'expérimentation de génération augmentée par recherche (RAG) pour générer automatiquement des blocs-notes que vous pouvez utiliser pour l'indexation, la recherche et la génération avec le modèle RAG.
Enregistrement d'un modèle RAG sous forme de carnets de notes générés automatiquement
Après avoir réalisé une expérience, vous pouvez consulter les modèles générés qui sont classés dans le tableau de classement en fonction de leur performance par rapport à la mesure optimisée. Lorsque vous êtes satisfait d'un modèle, vous pouvez le sauvegarder, générant ainsi un ou deux carnets de notes sauvegardés en tant qu'actifs du projet. Si vous créez une expérience Milvus, vous avez également la possibilité de la déployer immédiatement en tant que ressource d'IA.
Les carnets générés pour un motif RAG enregistré dépendent du magasin de vecteurs utilisé pour l'expérience, comme suit :
- Le carnet d'indexation alimente, met à jour et maintient l'index vectoriel de la collection de documents. Tous les modèles AutoAI RAG peuvent générer un carnet d'indexation.
- Le carnet d'inférence fournit un point final pour l'inférence par rapport à un grand modèle linguistique avec des capacités de recherche accrues. Seules les expériences qui utilisent une base de données Milvus comme magasin de vecteurs génèrent un carnet d'inférence.
Dans le cas d'une expérience Milvus, un service d'IA prépare un pipeline pour un déploiement immédiat dans un espace de déploiement, où vous pouvez faire des inférences par rapport au point final.
Générer les carnets d'indexation et de référencement
Après avoir passé en revue vos pipelines, suivez les étapes suivantes pour enregistrer un pipeline et générer les carnets de notes associés.
- Dans le tableau de bord des expériences, cliquez sur le nom d'une canalisation pour en afficher les détails.
- Cliquez sur Sauvegarder. Le tableau de bord répertorie le ou les carnets de notes qui sont générés automatiquement. Par exemple, l'image suivante montre le panneau d'enregistrement d'un motif créé en utilisant la base de données Chroma en mémoire comme magasin de vecteurs.
- Cliquez sur Créer.
- Ouvrez les carnets de notes du projet associé pour réviser ou exécuter le code. Par exemple, le carnet d'indexation se présente comme suit :
Vous pouvez consulter les carnets ou les exécuter en ajoutant des informations d'authentification.
Révision du carnet de notes
Le carnet d'index contient du code Python pour construire l'index de la base de données vectorielle pour votre collection de documents.
Le carnet est annoté de façon à ce que vous puissiez revoir les étapes et le code pour :
- Récupération des données à vectoriser
- Découpage des données
- Création des encastrements
- Lire les données de référence
- Utilisation des données de référence pour évaluer la qualité de l'extraction
Révision du carnet d'inférences
Le cahier d'inférence contient du code Python pour :
- Récupérer les passages pertinents des documents indexés pour chaque requête de l'utilisateur
- Générer une réponse à chaque requête de l'utilisateur en introduisant les passages extraits dans un grand modèle linguistique qui sera utilisé dans la réponse générée
Le carnet est annoté de façon à ce que vous puissiez revoir les étapes et le code pour :
- Construire la fonction Python d'inférence en utilisant le modèle RAG qui a été identifié dans l'expérience
- Déployer la fonction en tant que point d'arrivée de l'inférence
- Tester la récupération de passages pertinents comme entrée pour la réponse générée
Exécutez le cahier d'inférence pour utiliser le modèle RAG afin de récupérer et de générer des réponses à des questions.
Enregistrement d'un modèle RAG en tant que service IA déployable
Vous pouvez enregistrer votre modèle RAG en tant que service IA déployable. Un service d'IA :
- Est une fonction déployable Python qui capture la logique du modèle RAG.
- Crée un actif de projet.
- Il est possible de promouvoir une copie du bien dans un espace de déploiement et de créer le déploiement afin que vous puissiez accéder au point final et inférer le modèle.
Pour créer et déployer le service AI :
- Choisissez Enregistrer sous pour le modèle RAG.
- Choisissez l' extraction et la génération comme objectif.
- Choisissez le service AI comme type d'actif.
- Sélectionnez Promouvoir et depl0y er le service IA vers l'espace de déploiement.
- Cliquez sur Créer et déployer.
- Choisissez un espace de déploiement existant ou créez-en un.
Lorsque le processus de déploiement est terminé, cliquez sur le nom du déploiement pour ouvrir le service AI à des fins de test. À partir du déploiement, vous pouvez
- Obtenez le point de terminaison et les extraits de code de l'onglet Référence API pour utiliser le modèle RAG dans une application.
- Passez à l'onglet Test pour saisir ou télécharger de nouvelles questions au format JSON à utiliser avec le modèle RAG. Utilisez le même format JSON que celui utilisé pour les questions d'évaluation, mais ne fournissez pas les réponses.
Pour plus d'informations, voir Déployer des services d'IA
En savoir plus
Utilisez les documents indexés de cette expérience dans l' Prompt Lab, afin de fonder les invites d'un modèle de base. Voir Utilisation d'un index Rag d' AutoAI s pour discuter avec des documents.
Sujet parent : Créer une expérience RAG