Codage d'une expérience RAG AutoAI avec un magasin de vecteurs Chroma

Stockage du contenu vectoriel dans une base de données Chroma

Copy link to section

Lorsque vous configurez votre expérience AutoAI RAG et que vous ne spécifiez pas de connexion à un magasin de vecteurs, le contenu vectorisé est enregistré dans la base de données Chroma par défaut, en mémoire. Le contenu ne persiste pas au-delà de l'expérience, il ne s'agit donc pas d'une méthode de production viable pour déployer un motif RAG. Cependant, il offre une voie rapide pour créer un modèle RAG.

Les sections suivantes développent l'exemple de code annoté fourni avec le Automatisation du modèle RAG avec la base de données Chroma notebook.

Le notebook utilise la bibliothèque client watsonx.ai Python (version 1.1.11 ou ultérieure).

Suivez les étapes suivantes pour coder une expérience RAG AutoAI pour votre cas d'utilisation.

1. Préparez les conditions préalables à la préparation des données et mettez en place l'expérience
2. Configurer l'expérience RAG
3. Exécution de l'expérimentation
4. Examiner les modèles et sélectionner le meilleur

Étape 1 : Préparer les conditions préalables à la préparation des données et mettre en place l'expérience

Copy link to section

Préparer les conditions préalables à l'expérience.

• Installer et importer les modules et dépendances nécessaires. Par exemple :

  pip install 'ibm-watsonx-ai[rag]>=1.1.11'
  pip install langchain-community==0.2.4
  Copy to clipboardCopié dans le presse-papiers

  • Ajouter les informations d'identification de la tâche. Voir Ajout d'informations d'identification pour les tâches.
  • Ajouter le service d'exécution watsonx.ai Voir Création de services.
  • Saisissez votre clé API. Voir Gestion de la clé API de l'utilisateur.

• Utilisez-les pour initialiser le client. Par exemple :

  from ibm_watsonx_ai import APIClient, Credentials
  
  credentials = Credentials(
                  url = "https://us-south.ml.cloud.mydomain.com",
                  api_key = "***********"
                  )
  
  client = APIClient(credentials)
  Copy to clipboardCopié dans le presse-papiers

• Créez un projet ou un espace pour votre travail. Voir Créer un projet ou Créer un espace.

• Obtenir l'identifiant du projet ou de l'espace. Voir Trouver l'identifiant du projet.

• Définir un projet ou un espace par défaut :

client.set.default_project("<Project ID>")
Copy to clipboardCopié dans le presse-papiers

client.set.default_space("<Space GUID>")
Copy to clipboardCopié dans le presse-papiers

from ibm_watsonx_ai.helpers import DataConnection, S3Location

conn_meta_props= {
    client.connections.ConfigurationMetaNames.NAME: f"Connection to input data - {datasource_name} ",
    client.connections.ConfigurationMetaNames.DATASOURCE_TYPE: client.connections.get_datasource_type_id_by_name(datasource_name),
    client.connections.ConfigurationMetaNames.DESCRIPTION: "ibm-watsonx-ai SDK documentation",
    client.connections.ConfigurationMetaNames.PROPERTIES: {
        'bucket': <BUCKET_NAME>,
        'access_key': <ACCESS_KEY>,
        'secret_key': <SECRET_ACCESS_KEY>,
        'iam_url': 'https://iam.cloud.ibm.com/identity/token',
        'url': <ENDPOINT_URL>
    }
}

conn_details = client.connections.create(meta_props=conn_meta_props)
cos_connection_id = client.connections.get_id(conn_details)

input_data_references = [DataConnection(
    connection_asset_id=cos_connection_id,
    location=S3Location(
        bucket=<BACKET_NAME>,
        path=<BACKET_PATH>
    )
)]
Copy to clipboardCopié dans le presse-papiersShow more

import os, wget
from ibm_watsonx_ai.helpers import DataConnection

input_data_filename = "core_api.html"
input_data_path = f"https://ibm.github.io/watsonx-ai-python-sdk/{input_data_filename}"

if not os.path.isfile(input_data_filename): 
    wget.download(input_data_path, out=input_data_filename)
    
asset_details = client.data_assets.create(input_data_filename, input_data_filename)
asset_id = client.data_assets.get_id(asset_details)
asset_id

input_data_references = [DataConnection(data_asset_id=asset_id)]
Copy to clipboardCopié dans le presse-papiers

[
    {
        "question": "What is the purpose of get_token()?",
        "correct_answer": "get_token() is used to retrieve an authentication token for secure API access.",
        "correct_answer_document_ids": [
            "core_api.html"
        ]
    },
    {
        "question": "How does the delete_model() function operate?",
        "correct_answer": "delete_model() method allows users to delete models they've created or managed.",
        "correct_answer_document_ids": [
            "core_api.html"
        ]
    }
]
Copy to clipboardCopié dans le presse-papiers

import os, wget
from ibm_watsonx_ai.helpers import DataConnection

test_data_filename = "benchmarking_data_core_api.json"
test_data_path = f"https://github.com/IBM/watsonx-ai-samples/blob/master/cloud/data/autoai_rag/{test_data_filename}"

if not os.path.isfile(test_data_filename): 
    wget.download(test_data_path, out=test_data_filename)

test_asset_details = client.data_assets.create(name=test_data_filename, file_path=test_data_filename)
test_asset_id = client.data_assets.get_id(test_asset_details)

test_data_references = [DataConnection(data_asset_id=test_asset_id)]
Copy to clipboardCopié dans le presse-papiers

Étape 2 : Configuration de l'optimiseur RAG

Copy link to section

L'objet rag_optimizer fournit un ensemble de méthodes pour travailler avec l'expérience RAG AutoAI. Dans cette étape, entrez les détails pour définir l'expérience. Voici les options de configuration disponibles :

Cet exemple de code montre les options de configuration pour exécuter l'expérience avec la documentation ibm-watsonx-ai SDK :

from ibm_watsonx_ai.experiment import AutoAI

experiment = AutoAI(credentials, project_id=project_id)

rag_optimizer = experiment.rag_optimizer(
    name='DEMO - AutoAI RAG ibm-watsonx-ai SDK documentation',
    description="AutoAI RAG experiment grounded with the ibm-watsonx-ai SDK documentation",
    max_number_of_rag_patterns=5,
    optimization_metrics=[AutoAI.RAGMetrics.ANSWER_CORRECTNESS]
)
Copy to clipboardCopié dans le presse-papiers

rag_optimizer = experiment.rag_optimizer(
    name='DEMO - AutoAI RAG ibm-watsonx-ai SDK documentation',
    description="AutoAI RAG experiment grounded with the ibm-watsonx-ai SDK documentation",
    embedding_models=["ibm/slate-125m-english-rtrvr"],
    foundation_models=["ibm/granite-13b-chat-v2","mistralai/mixtral-8x7b-instruct-v01"],
    max_number_of_rag_patterns=5,
    optimization_metrics=[AutoAI.RAGMetrics.ANSWER_CORRECTNESS]
)
Copy to clipboardCopié dans le presse-papiers

Étape 3 : Exécuter l'expérience

Copy link to section

Lancer l'optimiseur pour créer les modèles RAG en utilisant les options de configuration spécifiées. Dans cet exemple de code pour l'exécution d'une expérience Chroma, la tâche est exécutée en mode interactif. Vous pouvez exécuter la tâche en arrière-plan en changeant la valeur de background_mode en True.

run_details = rag_optimizer.run(
    input_data_references=input_data_references,
    test_data_references=test_data_references,
    background_mode=False
)
Copy to clipboardCopié dans le presse-papiers

Étape 4 : Examiner les modèles et sélectionner le meilleur

Copy link to section

Une fois que l'expérience AutoAI RAG s'est achevée avec succès, vous pouvez examiner les modèles. Utilisez la méthode " summary pour répertorier les modèles terminés et les informations sur les mesures d'évaluation sous la forme d'un DataFrame Pandas afin que vous puissiez examiner les modèles, classés en fonction de leur performance par rapport à la mesure optimisée.

summary = rag_optimizer.summary()
summary
Copy to clipboardCopié dans le presse-papiers

Par exemple, les résultats du modèle s'affichent comme suit :

from langchain_community.document_loaders import WebBaseLoader

best_pattern = rag_optimizer.get_pattern()

urls = [
    "https://ibm.github.io/watsonx-ai-python-sdk/core_api.html",
    "https://ibm.github.io/watsonx-ai-python-sdk/fm_embeddings.html",
]
docs_list = WebBaseLoader(urls).load()
doc_splits = best_pattern.chunker.split_documents(docs_list)
best_pattern.indexing_function(doc_splits)
Copy to clipboardCopié dans le presse-papiers

payload = {
    client.deployments.ScoringMetaNames.INPUT_DATA: [
        {
            "values": ["How to use new approach of providing credentials to APIClient?"],
        }
    ]
}

best_pattern.query(payload)
Copy to clipboardCopié dans le presse-papiers

According to the document, the new approach to provide credentials to APIClient is by using the Credentials class. Here's an example:


from ibm_watsonx_ai import APIClient
from ibm_watsonx_ai import Credentials

credentials = Credentials(
                   url = "https://us-south.ml.cloud.ibm.com",
                   token = "***********",
                  )

client = APIClient(credentials)


This replaces the old approach of passing a dictionary with credentials to the APIClient constructor.
Copy to clipboardCopié dans le presse-papiers

Examen des résultats d'expériences dans le Cloud Object Storage

Copy link to section

Si l'état final de l'expérience est un échec ou une erreur, utilisez rag_optimizer.get_logs() ou reportez-vous aux résultats de l'expérience pour comprendre ce qui n'a pas fonctionné. Les résultats des expériences et les journaux sont stockés dans l'instance par défaut Cloud Object Storage liée à votre compte. Par défaut, les résultats sont enregistrés dans le répertoire default_autoai_rag_out.

Les résultats sont organisés par modèle. Par exemple :

|-- Pattern1
|      | -- evaluation_results.json
|      | -- indexing_inference_notebook.ipynb (Chroma)
|-- Pattern2
|    ...
|-- training_status.json
Copy to clipboardCopié dans le presse-papiers

Chaque modèle contient ces résultats :

• Le fichier evaluation_results.json contient les résultats de l'évaluation pour chaque question de référence.
• Le indexing_inference_notebook.ipynb contient le code python pour la construction de l'index de la base de données vectorielle ainsi que pour la construction de la fonction de récupération et de génération. Le carnet de notes présente des commandes pour la récupération des données, la création de chunks et d'embeddings, ainsi que pour la récupération de chunks, la construction d'invites et la génération de réponses.

rag_optimizer.get_inference_notebook(pattern_name='Pattern3')
Copy to clipboardCopié dans le presse-papiers