AutoAI 의 텍스트 추출 실험을 코딩하기

근거 문서

AutoAI 텍스트 추출 서비스를 이용해 RAG 실험을 실행하는 데 사용할 기초 문서를 준비하고 연결합니다.

1. Cloud Object Storage 에 연결하고 ID를 가져옵니다.

   conn_meta_props= {
       client.connections.ConfigurationMetaNames.NAME: f"Connection to input data - {datasource_name} ",
       client.connections.ConfigurationMetaNames.DATASOURCE_TYPE: client.connections.get_datasource_type_id_by_name(datasource_name),
       client.connections.ConfigurationMetaNames.DESCRIPTION: "ibm-watsonx-ai SDK documentation",
       client.connections.ConfigurationMetaNames.PROPERTIES: {
           'bucket': <BUCKET_NAME>,
           'access_key': <ACCESS_KEY>,
           'secret_key': <SECRET_ACCESS_KEY>,
           'iam_url': 'https://iam.cloud.ibm.com/identity/token',
           'url': <ENDPOINT_URL>
       }
   }
   
   conn_details = client.connections.create(meta_props=conn_meta_props)
   cos_connection_id = client.connections.get_id(conn_details)
   

2. 두 개의 연결 자산을 준비합니다. 하나는 입력용이고, 다른 하나는 텍스트 추출 서비스 출력용입니다.

   from ibm_watsonx_ai.helpers import DataConnection, S3Location
   
   input_data_reference = DataConnection(
       connection_asset_id=cos_connection_id,
       location=S3Location(
           bucket=<BUCKET_NAME>,
           path=<TEXT EXTRACTION INPUT FILENAME>
       ),
   )
   input_data_reference.set_client(client)
   
   result_data_reference = DataConnection(
       connection_asset_id=cos_connection_id, 
       location=S3Location(
           bucket=<BUCKET_NAME>,
           path=<TEXT EXTRACTION OUTPUT FILENAME>
       )
   )
   result_data_reference.set_client(client)
   

평가 데이터

평가 데이터 입력용:

• 데이터는 JSON 형식이어야 하며, 다음 필드가 포함된 고정된 스키마를 사용해야 합니다. question, correct_answer, correct_answer_document_ids
• correct_answer_document_ids 텍스트 추출 서비스 출력 파일을 참조해야 합니다

benchmarking_data = [
     {
        "question": "What are the two main variants of Granite Code models?",
        "correct_answer": "The two main variants are Granite Code Base and Granite Code Instruct.",
        "correct_answer_document_ids": <TEXT EXTRACTION OUTPUT FILENAME>
     },
     {
        "question": "What is the purpose of Granite Code Instruct models?",
        "correct_answer": "Granite Code Instruct models are finetuned for instruction-following tasks using datasets like CommitPack, OASST, HelpSteer, and synthetic code instruction datasets, aiming to improve reasoning and instruction-following capabilities.",
        "correct_answer_document_ids": <TEXT EXTRACTION OUTPUT FILENAME>
     },
     {
        "question": "What is the licensing model for Granite Code models?",
        "correct_answer": "Granite Code models are released under the Apache 2.0 license, ensuring permissive and enterprise-friendly usage.",
        "correct_answer_document_ids": <TEXT EXTRACTION OUTPUT FILENAME>
     },
]

평가 데이터를 준비하려면:

import os, wget
from ibm_watsonx_ai.helpers import DataConnection

test_data_filename = "benchmarking_data_core_api.json"
test_data_path = f"https://github.com/IBM/watsonx-ai-samples/tree/master/cloud/data/autoai_rag{test_data_filename}"

if not os.path.isfile(test_data_filename): 
    wget.download(test_data_path, out=test_data_filename)

test_asset_details = client.data_assets.create(name=test_data_filename, file_path=test_data_filename)
test_asset_id = client.data_assets.get_id(test_asset_details)

test_data_references = [DataConnection(data_asset_id=test_asset_id)]

로컬에서 테스트할 패턴을 선택하세요

다음 단계는 패턴을 선택하고 로컬에서 테스트하는 것입니다. Chroma는 인메모리 방식이기 때문에 문서 색인을 다시 만들어야 합니다.

from langchain_community.document_loaders import WebBaseLoader

best_pattern = rag_optimizer.get_pattern()

urls = [
    "https://ibm.github.io/watsonx-ai-python-sdk/core_api.html",
    "https://ibm.github.io/watsonx-ai-python-sdk/fm_embeddings.html",
]
docs_list = WebBaseLoader(urls).load()
doc_splits = best_pattern.chunker.split_documents(docs_list)
best_pattern.indexing_function(doc_splits)

RAG 패턴을 로컬로 쿼리합니다.

payload = {
    client.deployments.ScoringMetaNames.INPUT_DATA: [
        {
            "values": ["How to use new approach of providing credentials to APIClient?"],
        }
    ]
}

best_pattern.query(payload)

모델의 반응은 다음과 같습니다

According to the document, the new approach to provide credentials to APIClient is by using the Credentials class. Here's an example:


from ibm_watsonx_ai import APIClient
from ibm_watsonx_ai import Credentials

credentials = Credentials(
                   url = "https://us-south.ml.cloud.ibm.com",
                   token = "***********",
                  )

client = APIClient(credentials)


This replaces the old approach of passing a dictionary with credentials to the APIClient constructor.

추론 및 색인 노트북 만들기

특정 추론 노트북을 다운로드하려면, get_inference_notebook() 를 이용하십시오. pattern_name 을 비워두면, 이 방법은 가장 잘 계산된 패턴의 노트북을 다운로드합니다.

rag_optimizer.get_inference_notebook(pattern_name='Pattern3')

더 많은 정보와 코드 샘플을 보려면 AutoAI 의 RAG with watsonx Text Extraction service notebook을 참고하세요.

상위 주제: RAG 패턴 검색 자동화