Codierung eines AutoAI RAG-Experiments mit einem Chroma-Vektorspeicher

Speicherung von vektorisierten Inhalten in einer Chroma-Datenbank

Wenn Sie Ihr AutoAI RAG-Experiment einrichten und keine Verbindung zu einem Vektorspeicher angeben, wird der vektorisierte Inhalt in der standardmäßigen, speicherinternen Chroma-Datenbank gespeichert. Der Inhalt bleibt nicht über das Experiment hinaus bestehen, daher ist dies keine praktikable Produktionsmethode für die Anwendung eines RAG-Musters. Sie bietet jedoch einen schnellen Weg zur Erstellung eines RAG-Musters.

In den folgenden Abschnitten wird der kommentierte Beispielcode aus dem Automatisierung von RAG-Mustern mit der Chroma-Datenbank-Notebook erläutert.

Das Notebook verwendet die watsonx.ai Python Client-Bibliothek (Version 1.1.11 oder höher).

Folgen Sie diesen Schritten, um ein AutoAI RAG-Experiment für Ihren Anwendungsfall zu programmieren.

1. Vorbereitung der Voraussetzungen für die Datenaufbereitung und den Aufbau des Experiments
2. Konfigurieren Sie das RAG-Experiment
3. Experiment ausführen
4. Prüfen Sie die Muster und wählen Sie das beste aus

Schritt 1: Vorbereiten der Voraussetzungen für die Datenaufbereitung und den Aufbau des Experiments

Bereiten Sie die Voraussetzungen für das Experiment vor.

• Installieren und importieren Sie die erforderlichen Module und Abhängigkeiten. Beispiel:

  pip install 'ibm-watsonx-ai[rag]>=1.1.11'
  pip install langchain-community==0.2.4
  

  • Anmeldeinformationen für die Aufgabe hinzufügen. Siehe Hinzufügen von Anmeldeinformationen für Aufgaben.
  • Fügen Sie den watsonx.ai Runtime-Dienst hinzu. Siehe Dienste erstellen.
  • Geben Sie Ihren API-Schlüssel ein. Siehe Verwalten des Benutzer-API-Schlüssels.

• Verwenden Sie diese, um den Client zu initialisieren. Beispiel:

  from ibm_watsonx_ai import APIClient, Credentials
  
  credentials = Credentials(
                  url = "https://us-south.ml.cloud.mydomain.com",
                  api_key = "***********"
                  )
  
  client = APIClient(credentials)
  

• Schaffen Sie ein Projekt oder einen Raum für Ihre Arbeit. Siehe Erstellen eines Projekts oder Erstellen eines Bereichs.

• Abrufen der ID für das Projekt oder den Bereich. Siehe Finden der Projekt-ID.

• Legen Sie ein Standardprojekt oder einen Standardbereich fest:

client.set.default_project("<Project ID>")

client.set.default_space("<Space GUID>")

from ibm_watsonx_ai.helpers import DataConnection, S3Location

conn_meta_props= {
    client.connections.ConfigurationMetaNames.NAME: f"Connection to input data - {datasource_name} ",
    client.connections.ConfigurationMetaNames.DATASOURCE_TYPE: client.connections.get_datasource_type_id_by_name(datasource_name),
    client.connections.ConfigurationMetaNames.DESCRIPTION: "ibm-watsonx-ai SDK documentation",
    client.connections.ConfigurationMetaNames.PROPERTIES: {
        'bucket': <BUCKET_NAME>,
        'access_key': <ACCESS_KEY>,
        'secret_key': <SECRET_ACCESS_KEY>,
        'iam_url': 'https://iam.cloud.ibm.com/identity/token',
        'url': <ENDPOINT_URL>
    }
}

conn_details = client.connections.create(meta_props=conn_meta_props)
cos_connection_id = client.connections.get_id(conn_details)

input_data_references = [DataConnection(
    connection_asset_id=cos_connection_id,
    location=S3Location(
        bucket=<BACKET_NAME>,
        path=<BACKET_PATH>
    )
)]

import os, wget
from ibm_watsonx_ai.helpers import DataConnection

input_data_filename = "core_api.html"
input_data_path = f"https://ibm.github.io/watsonx-ai-python-sdk/{input_data_filename}"

if not os.path.isfile(input_data_filename): 
    wget.download(input_data_path, out=input_data_filename)
    
asset_details = client.data_assets.create(input_data_filename, input_data_filename)
asset_id = client.data_assets.get_id(asset_details)
asset_id

input_data_references = [DataConnection(data_asset_id=asset_id)]

[
    {
        "question": "What is the purpose of get_token()?",
        "correct_answer": "get_token() is used to retrieve an authentication token for secure API access.",
        "correct_answer_document_ids": [
            "core_api.html"
        ]
    },
    {
        "question": "How does the delete_model() function operate?",
        "correct_answer": "delete_model() method allows users to delete models they've created or managed.",
        "correct_answer_document_ids": [
            "core_api.html"
        ]
    }
]

import os, wget
from ibm_watsonx_ai.helpers import DataConnection

test_data_filename = "benchmarking_data_core_api.json"
test_data_path = f"https://github.com/IBM/watsonx-ai-samples/blob/master/cloud/data/autoai_rag/{test_data_filename}"

if not os.path.isfile(test_data_filename): 
    wget.download(test_data_path, out=test_data_filename)

test_asset_details = client.data_assets.create(name=test_data_filename, file_path=test_data_filename)
test_asset_id = client.data_assets.get_id(test_asset_details)

test_data_references = [DataConnection(data_asset_id=test_asset_id)]

Schritt 2: Konfigurieren Sie den RAG-Optimierer

Das rag_optimizer Objekt bietet eine Reihe von Methoden für die Arbeit mit dem AutoAI RAG Experiment. In diesem Schritt geben Sie die Details ein, um das Experiment zu definieren. Dies sind die verfügbaren Konfigurationsoptionen:

Dieser Beispielcode zeigt die Konfigurationsoptionen für die Ausführung des Experiments mit der ibm-watsonx-ai SDK Dokumentation:

from ibm_watsonx_ai.experiment import AutoAI

experiment = AutoAI(credentials, project_id=project_id)

rag_optimizer = experiment.rag_optimizer(
    name='DEMO - AutoAI RAG ibm-watsonx-ai SDK documentation',
    description="AutoAI RAG experiment grounded with the ibm-watsonx-ai SDK documentation",
    max_number_of_rag_patterns=5,
    optimization_metrics=[AutoAI.RAGMetrics.ANSWER_CORRECTNESS]
)

rag_optimizer = experiment.rag_optimizer(
    name='DEMO - AutoAI RAG ibm-watsonx-ai SDK documentation',
    description="AutoAI RAG experiment grounded with the ibm-watsonx-ai SDK documentation",
    embedding_models=["ibm/slate-125m-english-rtrvr"],
    foundation_models=["ibm/granite-13b-chat-v2","mistralai/mixtral-8x7b-instruct-v01"],
    max_number_of_rag_patterns=5,
    optimization_metrics=[AutoAI.RAGMetrics.ANSWER_CORRECTNESS]
)

Schritt 3: Durchführung des Experiments

Führen Sie den Optimierer aus, um die RAG-Muster unter Verwendung der angegebenen Konfigurationsoptionen zu erstellen. In diesem Codebeispiel für die Durchführung eines Chroma-Experiments wird die Aufgabe im interaktiven Modus ausgeführt. Sie können die Aufgabe im Hintergrund laufen lassen, indem Sie das background_mode auf True setzen.

run_details = rag_optimizer.run(
    input_data_references=input_data_references,
    test_data_references=test_data_references,
    background_mode=False
)

Schritt 4: Prüfen Sie die Muster und wählen Sie das beste aus

Nachdem das AutoAI RAG-Experiment erfolgreich abgeschlossen wurde, können Sie die Muster überprüfen. Verwenden Sie die Methode " summary, um abgeschlossene Muster und Informationen zu den Bewertungsmetriken in Form eines Pandas DataFrame aufzulisten, so dass Sie die Muster in einer Rangfolge nach Leistung gegenüber der optimierten Metrik überprüfen können.

summary = rag_optimizer.summary()
summary

Die Ergebnisse werden beispielsweise wie folgt angezeigt:

from langchain_community.document_loaders import WebBaseLoader

best_pattern = rag_optimizer.get_pattern()

urls = [
    "https://ibm.github.io/watsonx-ai-python-sdk/core_api.html",
    "https://ibm.github.io/watsonx-ai-python-sdk/fm_embeddings.html",
]
docs_list = WebBaseLoader(urls).load()
doc_splits = best_pattern.chunker.split_documents(docs_list)
best_pattern.indexing_function(doc_splits)

payload = {
    client.deployments.ScoringMetaNames.INPUT_DATA: [
        {
            "values": ["How to use new approach of providing credentials to APIClient?"],
        }
    ]
}

best_pattern.query(payload)

According to the document, the new approach to provide credentials to APIClient is by using the Credentials class. Here's an example:


from ibm_watsonx_ai import APIClient
from ibm_watsonx_ai import Credentials

credentials = Credentials(
                   url = "https://us-south.ml.cloud.ibm.com",
                   token = "***********",
                  )

client = APIClient(credentials)


This replaces the old approach of passing a dictionary with credentials to the APIClient constructor.

Überprüfung von Versuchsergebnissen in Cloud Object Storage

Wenn der endgültige Status des Experiments "fehlgeschlagen" oder "Fehler" lautet, verwenden Sie rag_optimizer.get_logs() oder lesen Sie die Ergebnisse des Experiments, um zu verstehen, was falsch gelaufen ist. Experimentergebnisse und Protokolle werden in der mit Ihrem Konto verknüpften Standardinstanz Cloud Object Storage gespeichert. Standardmäßig werden die Ergebnisse im Verzeichnis default_autoai_rag_out gespeichert.

Die Ergebnisse sind nach Mustern geordnet. Beispiel:

|-- Pattern1
|      | -- evaluation_results.json
|      | -- indexing_inference_notebook.ipynb (Chroma)
|-- Pattern2
|    ...
|-- training_status.json

Jedes Muster enthält diese Ergebnisse:

• Die Datei evaluation_results.json enthält die Bewertungsergebnisse für jede Benchmark-Frage.
• Der indexing_inference_notebook.ipynb enthält den Python-Code für den Aufbau des Index der Vektordatenbank sowie für die Abfrage- und Generierungsfunktion. Das Notizbuch stellt Befehle zum Abrufen von Daten, zum Chunking und zur Erstellung von Einbettungen sowie zum Abrufen von Chunks, zum Erstellen von Prompts und zum Generieren von Antworten vor.

rag_optimizer.get_inference_notebook(pattern_name='Pattern3')