Création d'une expérience RAG (voie rapide)

Préparer vos sources de données

Avant de créer une expérience RAG, préparez votre collecte de documents et vos données d'évaluation. La collection de documents fournit un contexte pour les réponses aux questions posées. Les données d'évaluation sont un fichier JSON contenant des exemples de questions et de réponses à utiliser pour mesurer la performance des modèles RAG.

Pour préparer votre collecte de données, suivez les lignes directrices suivantes :

• Formats pris en charge pour la collection de documents : PDF, HTML, DOCX, MD ou texte brut
• Format pris en charge pour le fichier de données d'évaluation : JSON

[
    {
        "question": "<text>",
        "correct_answer": "<text>",
        "correct_answer_document_ids": [
            "<file>",
            "<file>"
        ]
    },
    {
        "question": "<text>",
        "correct_answer": "<text>",
        "correct_answer_document_ids": [
            "<file>",
            "<file>"
        ]
    },
    {
        "question": "<text>",
        "correct_answer": "<text>",
        "correct_answer_document_ids": [
            "<file>",
            "<file>"
        ]
    }
]

[
    {
        "question": "What foundation models are available in watsonx.ai?",
        "correct_answer": "The following models are available in watsonx.ai: \nflan-t5-xl-3b\nFlan-t5-xxl-11b\nflan-ul2-20b\ngpt-neox-20b\ngranite-13b-chat-v2\ngranite-13b-chat-v1\ngranite-13b-instruct-v2\ngranite-13b-instruct-v1\nllama-2-13b-chat\nllama-2-70b-chat\nmpt-7b-instruct2\nmt0-xxl-13b\nstarcoder-15.5b",
        "correct_answer_document_ids": [
            "5B37710FE7BBD6EFB842FEB7B49B036302E18F81_0.txt"
        ]
    },
    {
        "question": "What foundation models are available on Watsonx, and which of these has IBM built?",
        "correct_answer": "The following foundation models are available on Watsonx:\n\n1. flan-t5-xl-3b\n2. flan-t5-xxl-11b\n3. flan-ul2-20b\n4. gpt-neox-20b\n5. granite-13b-chat-v2 (IBM built)\n6. granite-13b-chat-v1 (IBM built)\n7. granite-13b-instruct-v2 (IBM built)\n8. granite-13b-instruct-v1 (IBM built)\n9. llama-2-13b-chat\n10. llama-2-70b-chat\n11. mpt-7b-instruct2\n12. mt0-xxl-13b\n13. starcoder-15.5b\n\n The Granite family of foundation models, including granite-13b-chat-v2, granite-13b-chat-v1, and granite-13b-instruct-v2 has been build by IBM.",
        "correct_answer_document_ids": [
            "5B37710FE7BBD6EFB842FEB7B49B036302E18F81_0.txt",
            "B2593108FA446C4B4B0EF5ADC2CD5D9585B0B63C_0.txt"
        ]
    },
    {
        "question": "What is greedy decoding?",
        "correct_answer": "Greedy decoding produces output that closely matches the most common language in the model's pretraining data and in your prompt text, which is desirable in less creative or fact-based use cases. A weakness of greedy decoding is that it can cause repetitive loops in the generated output.",
        "correct_answer_document_ids": [
            "42AE491240EF740E6A8C5CF32B817E606F554E49_1.txt"
        ]
    },
    {
        "question": "When to tune a foundation model?",
        "correct_answer": "Tune a foundation model when you want to do the following things:\n\nReduce the cost of inferencing at scale\nGet the model's output to use a certain style or format\nImprove the model's performance by teaching the model a specialized task\nGenerate output in a reliable form in response to zero-shot prompts\"",
        "correct_answer_document_ids": [
            "FBC3C5F81D060CD996489B772ABAC886F12130A3_0.txt"
        ]
    },
    {
        "question": "What tuning parameters are available for IBM foundation models?",
        "correct_answer": "Tuning parameter values for IBM foundation models:\nInitialization method\ninitialization text\nbatch_size\naccumulate_steps\nlearning_rate\nnum_epochs\"",
        "correct_answer_document_ids": [
            "51747F17F413F1F34CFD73D170DE392D874D03DD_2.txt"
        ]
    },
    {
        "question": "How do I avoid generating personal information with foundation models?",
        "correct_answer": "To exclude personal information, try these techniques:\n- In your prompt, instruct the model to refrain from mentioning names, contact details, or personal information.\n- In your larger application, pipeline, or solution, post-process the content that is generated by the foundation model to find and remove personal information.\"",
        "correct_answer_document_ids": [
            "E59B59312D1EB3B2BA78D7E78993883BB3784C2B_4.txt"
        ]
    },
    {
        "question": "What is Watson OpenScale?",
        "correct_answer": "Watson OpenScale is a tool that helps organizations evaluate and monitor the performance of their AI models. It tracks and measures outcomes from AI models, and helps ensure that they remain fair, explainable, and compliant no matter where the models were built or are running. Watson OpenScale also detects and helps correct the drift in accuracy when an AI model is in production.",
        "correct_answer_document_ids": [
            "777F72F32FD20E96C4A5F0CCA461FE9A79334E96_0.txt"
        ]
    }
]

Choisir un magasin de vecteurs

Vous devez prévoir un emplacement pour le stockage des documents vectorisés dans une base de données qui est utilisée pour stocker et récupérer le contenu pour le processus de questions et réponses. Pour plus d'informations sur les options de base de données disponibles, voir Choix d'un magasin de vecteurs.

• La base de données Chroma en mémoire par défaut est une mémoire vectorielle temporaire pour l'exécution de l'expérience. L'indice ne persiste pas au-delà de l'expérience, et n'est donc pas un bon choix pour la production.
• Connectez-vous à une base de données Milvus ou créez-en une si vous souhaitez disposer d'une base de données vectorielles permanente. Utilisez cette option si vous prévoyez de déployer votre modèle RAG. Pour plus de détails, voir Configuration d'un magasin de vecteurs watsonx.data Milvus

Regardez cette vidéo pour savoir comment créer une expérience AutoAI RAG.

Création de l'expérience AutoAI RAG

Suivez ces étapes pour définir et exécuter une expérience visant à rechercher le modèle RAG optimal pour votre cas d'utilisation, en utilisant les paramètres de configuration par défaut comme voie rapide.

1. Sur la page d'accueil de watsonx.ai ou sur la page Nouveaux actifs d'un projet, cliquez sur Construire automatiquement des solutions d'IA.

2. Saisissez un nom et une description facultative pour l'expérience, sélectionnez une taille de configuration et cliquez sur Créer. Vous devez également avoir une instance de service watsonx.ai Runtime associée au projet.

   Conseil : si vous obtenez une erreur lors de la configuration d'une expérience, vérifiez que vous disposez de suffisamment de ressources avec votre plan. Si le problème persiste, essayez de changer les informations d'identification de la tâche IBM Cloud.

3. Sélectionnez Construire une solution RAG comme type d'expérience.

4. Télécharger ou se connecter à la collection de documents et aux données d'évaluation. Sélectionnez jusqu'à 20 dossiers et fichiers de documents pour la collection de documents. Le fichier de données d'évaluation doit être un fichier JSON unique.

5. Choisissez l'endroit où stocker l'index vectoriel de la collection de documents.

6. Spécifiez le fichier JSON que vous souhaitez utiliser comme données de référence pour évaluer les résultats de l'expérience.

7. Cliquez sur Exécuter l'expérience pour créer les pipelines RAG en utilisant les paramètres par défaut :

   • Métrique optimisée: Optimise la création des motifs RAG pour la métrique de fidélité de la réponse.
   • Modèles à prendre en compte: La valeur par défaut de Tous les types de modèles prend en compte tous les modèles de fondations disponibles pour générer les modèles RAG.

Les paramètres de l'expérience sont configurables si vous souhaitez adapter l'expérience à votre cas d'utilisation. Voir Personnalisation des paramètres de l'expérience RAG.

Affichage des résultats

Utilisez les outils suivants pour visualiser les progrès et examiner les résultats.

1. Au fur et à mesure que l'expérience se déroule, une carte de progression permet de visualiser la création et l'optimisation des pipelines. Survolez un nœud pour plus de détails.

   

2. Une fois l'expérience terminée, consultez le tableau de bord qui affiche les pipelines d'expérience, classés en fonction des résultats obtenus pour la mesure optimisée.

   

3. Cliquez sur le nom d'un pipeline pour en consulter les détails. Examinez les résultats obtenus par le pipeline pour les différents paramètres évalués à l'aide de l'exemple de question et de réponse.

   

4. Lorsque votre analyse est terminée, cliquez sur Enregistrer pour générer automatiquement des actifs de carnet de notes que vous pouvez utiliser pour tester et utiliser le modèle RAG.

   

5. Examinez et exécutez le ou les carnets obtenus pour tester ou utiliser votre modèle RAG. Pour plus de détails, voir Sauvegarde d'un motif RAG.

Etapes suivantes

• Pour modifier les options de configuration, voir Personnaliser les paramètres de l'expérience RAG.
• Pour analyser un modèle, voir les détails du modèleAutoAI RAG.
• Pour sauvegarder et utiliser un motif RAG, voir Sauvegarde d'un motif RAG.

Sujet parent : Construire des expériences RAG avec AutoAI