Codierung eines AutoAI -RAG-Experiments mit Textextraktion

Schritt 1: Bereiten Sie die Voraussetzungen für die Datenaufbereitung vor und richten Sie das Experiment ein

Copy link to section

Bereiten Sie die Voraussetzungen für das Experiment vor.

• Installieren und importieren Sie die erforderlichen Module und Abhängigkeiten. Beispiel:

  pip install 'ibm-watsonx-ai[rag]>=1.1.11'
  pip install langchain-community==0.2.4
  Copy to clipboardIn die Zwischenablage kopiert

  • Fügen Sie Anmeldeinformationen für Aufgaben hinzu. Siehe Hinzufügen von Anmeldeinformationen für Aufgaben.
  • Fügen Sie den watsonx.ai Runtime-Dienst hinzu. Siehe "Dienste erstellen ".
  • Geben Sie Ihren API-Schlüssel ein. Siehe Verwalten des API-Benutzerschlüssels.

• Verwenden Sie Ihre Anmeldedaten, um den Client zu initialisieren. Beispiel:

  from ibm_watsonx_ai import APIClient, Credentials
  
  credentials = Credentials(
                  url = "https://us-south.ml.cloud.mydomain.com",
                  api_key = "***********"
                  )
  
  client = APIClient(credentials)
  Copy to clipboardIn die Zwischenablage kopiert

• Erstellen Sie ein Projekt oder einen Bereich für Ihre Arbeit. Siehe "Projekt erstellen " oder "Bereich erstellen ".

• Besorgen Sie sich die ID für das Projekt oder den Bereich. Siehe "Ermittlung der Projekt-ID ".

• Legen Sie ein Standardprojekt oder einen Standardbereich fest:

client.set.default_project("<Project ID>")
Copy to clipboardIn die Zwischenablage kopiert

client.set.default_space("<Space GUID>")
Copy to clipboardIn die Zwischenablage kopiert

• Vorbereitung der Gründungsdokumente
• Bereiten Sie die Bewertungsdaten vor

benchmarking_data = [
     {
        "question": "What are the two main variants of Granite Code models?",
        "correct_answer": "The two main variants are Granite Code Base and Granite Code Instruct.",
        "correct_answer_document_ids": <TEXT EXTRACTION OUTPUT FILENAME>
     },
     {
        "question": "What is the purpose of Granite Code Instruct models?",
        "correct_answer": "Granite Code Instruct models are finetuned for instruction-following tasks using datasets like CommitPack, OASST, HelpSteer, and synthetic code instruction datasets, aiming to improve reasoning and instruction-following capabilities.",
        "correct_answer_document_ids": <TEXT EXTRACTION OUTPUT FILENAME>
     },
     {
        "question": "What is the licensing model for Granite Code models?",
        "correct_answer": "Granite Code models are released under the Apache 2.0 license, ensuring permissive and enterprise-friendly usage.",
        "correct_answer_document_ids": <TEXT EXTRACTION OUTPUT FILENAME>
     },
]
Copy to clipboardIn die Zwischenablage kopiertShow more

import os, wget
from ibm_watsonx_ai.helpers import DataConnection

test_data_filename = "benchmarking_data_core_api.json"
test_data_path = f"https://github.com/IBM/watsonx-ai-samples/tree/master/cloud/data/autoai_rag{test_data_filename}"

if not os.path.isfile(test_data_filename): 
    wget.download(test_data_path, out=test_data_filename)

test_asset_details = client.data_assets.create(name=test_data_filename, file_path=test_data_filename)
test_asset_id = client.data_assets.get_id(test_asset_details)

test_data_references = [DataConnection(data_asset_id=test_asset_id)]
Copy to clipboardIn die Zwischenablage kopiert

Schritt 2: Eingabedokumente mit Textextraktion verarbeiten

Copy link to section

1. Initialisieren Sie den Textextraktionsdienst.

   from ibm_watsonx_ai.foundation_models.extractions import TextExtractions
   
   extraction = TextExtractions(
       credentials=credentials,
       space_id=<Space GUID>,
   )
   Copy to clipboardIn die Zwischenablage kopiert

2. Führen Sie den Textextraktionsauftrag aus.

   from ibm_watsonx_ai.metanames import TextExtractionsMetaNames
   
   response = extraction.run_job(
       document_reference=input_data_reference,
       results_reference=result_data_reference,
       steps={
           TextExtractionsMetaNames.OCR: {
               "process_image": True,
               "languages_list": ["en"],
           },
           TextExtractionsMetaNames.TABLE_PROCESSING: {"enabled": True},
       },
       results_format="markdown",
   )
   
   job_id = response['metadata']['id']
   Copy to clipboardIn die Zwischenablage kopiert

3. Stellenbeschreibung abrufen.

   extraction.get_job_details(job_id)
   Copy to clipboardIn die Zwischenablage kopiert

4. Wenn der Status completed lautet, fahren Sie mit dem nächsten Schritt fort.

Schritt 3: Konfigurieren Sie den RAG-Optimierer

Copy link to section

Das rag_optimizer -Objekt bietet eine Reihe von Methoden für die Arbeit mit dem AutoAI -RAG-Experiment. Geben Sie in diesem Schritt die Details ein, um das Experiment zu definieren. Dies sind die verfügbaren Konfigurationsoptionen:

Dieser Beispielcode zeigt die Konfigurationsoptionen für die Durchführung des Experiments mit der ibm- watsonx -ai SDK-Dokumentation:

from ibm_watsonx_ai.experiment import AutoAI

experiment = AutoAI(credentials, project_id=project_id)

rag_optimizer = experiment.rag_optimizer(
    name='DEMO - AutoAI RAG ibm-watsonx-ai SDK documentation',
    description="AutoAI RAG experiment grounded with the ibm-watsonx-ai SDK documentation",
    max_number_of_rag_patterns=5,
    optimization_metrics=[AutoAI.RAGMetrics.ANSWER_CORRECTNESS]
)
Copy to clipboardIn die Zwischenablage kopiert

rag_optimizer = experiment.rag_optimizer(
    name='DEMO - AutoAI RAG ibm-watsonx-ai SDK documentation',
    description="AutoAI RAG experiment grounded with the ibm-watsonx-ai SDK documentation",
    embedding_models=["ibm/slate-125m-english-rtrvr"],
    foundation_models=["ibm/granite-13b-chat-v2","mistralai/mixtral-8x7b-instruct-v01"],
    max_number_of_rag_patterns=5,
    optimization_metrics=[AutoAI.RAGMetrics.ANSWER_CORRECTNESS]
)
Copy to clipboardIn die Zwischenablage kopiert

Schritt 4: Experiment durchführen

Copy link to section

Führen Sie den Optimierer aus, um die RAG-Muster mithilfe der angegebenen Konfigurationsoptionen zu erstellen. Verwenden Sie die Ausgabe der Textextraktion als Eingabe für Ihr AutoAI -RAG-Experiment.

In diesem Codebeispiel für die Durchführung eines Chroma-Experiments wird die Aufgabe im interaktiven Modus ausgeführt. Sie können die Aufgabe im Hintergrund ausführen, indem Sie background_mode in "True" ändern.

input_data_references = [result_data_reference]

rag_optimizer.run(
    input_data_references=input_data_references,
    test_data_references=test_data_references,
    background_mode=False
)
Copy to clipboardIn die Zwischenablage kopiert

Schritt 5: Überprüfen Sie die Muster und wählen Sie das beste aus

Copy link to section

Nach erfolgreichem Abschluss des AutoAI -RAG-Experiments können Sie die Muster überprüfen. Verwenden Sie die summary -Methode, um abgeschlossene Muster und Bewertungsmetrikinformationen in Form einer Pandas DataFrame aufzulisten, damit Sie die Muster überprüfen können, die nach Leistung im Vergleich zur optimierten Metrik geordnet sind.

summary = rag_optimizer.summary()
summary
Copy to clipboardIn die Zwischenablage kopiert

Beispielsweise werden die Ergebnisse der Muster wie folgt angezeigt:

from langchain_community.document_loaders import WebBaseLoader

best_pattern = rag_optimizer.get_pattern()

urls = [
    "https://ibm.github.io/watsonx-ai-python-sdk/core_api.html",
    "https://ibm.github.io/watsonx-ai-python-sdk/fm_embeddings.html",
]
docs_list = WebBaseLoader(urls).load()
doc_splits = best_pattern.chunker.split_documents(docs_list)
best_pattern.indexing_function(doc_splits)
Copy to clipboardIn die Zwischenablage kopiert

payload = {
    client.deployments.ScoringMetaNames.INPUT_DATA: [
        {
            "values": ["How to use new approach of providing credentials to APIClient?"],
        }
    ]
}

best_pattern.query(payload)
Copy to clipboardIn die Zwischenablage kopiert

According to the document, the new approach to provide credentials to APIClient is by using the Credentials class. Here's an example:


from ibm_watsonx_ai import APIClient
from ibm_watsonx_ai import Credentials

credentials = Credentials(
                   url = "https://us-south.ml.cloud.ibm.com",
                   token = "***********",
                  )

client = APIClient(credentials)


This replaces the old approach of passing a dictionary with credentials to the APIClient constructor.
Copy to clipboardIn die Zwischenablage kopiert

Überprüfung der Versuchsergebnisse in Cloud Object Storage

Copy link to section

Wenn das Experiment als fehlgeschlagen oder fehlerhaft eingestuft wird, wenden Sie sich an rag_optimizer.get_logs() oder sehen Sie sich die Ergebnisse des Experiments an, um zu verstehen, was schiefgelaufen ist. Die Ergebnisse und Protokolle der Experimente werden in der Standardinstanz Cloud Object Storage gespeichert, die mit Ihrem Konto verknüpft ist. Standardmäßig werden die Ergebnisse im Verzeichnis default_autoai_rag_out gespeichert.

Die Ergebnisse sind nach Mustern geordnet. Beispiel:

|-- Pattern1
|      | -- evaluation_results.json
|      | -- indexing_inference_notebook.ipynb (Chroma)
|-- Pattern2
|    ...
|-- training_status.json
Copy to clipboardIn die Zwischenablage kopiert

Jedes Muster enthält diese Ergebnisse:

• Die Datei evaluation_results.json enthält die Bewertungsergebnisse für jede Benchmark-Frage.
• Die indexing_inference_notebook.ipynb enthält den Python -Code für den Aufbau eines Vektordatenbankindex sowie für den Aufbau von Abruf- und Generierungsfunktionen. Das Notizbuch führt Befehle zum Abrufen von Daten, zum Chunking und zur Erstellung von Einbettungen sowie zum Abrufen von Chunks, zum Erstellen von Eingabeaufforderungen und zum Generieren von Antworten ein.

rag_optimizer.get_inference_notebook(pattern_name='Pattern3')
Copy to clipboardIn die Zwischenablage kopiert