에이전트 AI 평가

상태 설정

Copy link to section

ibm-watsonx-gov Python SDK는 확장할 수 있는 pydantic 기반 상태 클래스를 제공합니다

from ibm_watsonx_gov.entities.state import EvaluationState

class AppState(EvaluationState):
    pass
Copy to clipboard클립보드에 복사됨

평가자 설정

Copy link to section

에이전트 AI 응용 프로그램을 평가하려면, 다양한 지표를 계산하는 평가자를 정의하기 위해 AgenticEvaluation 클래스를 인스턴스화해야 합니다

from ibm_watsonx_gov.evaluate.agentic_evaluation import AgenticEvaluation

evaluator = AgenticEvaluation()
Copy to clipboard클립보드에 복사됨

평가자 추가

Copy link to section

retrieval_node 도구를 정의하고, evaluate_context_relevance 평가 도구로 꾸며서 문맥 관련성 지표를 계산합니다:

@evaluator.evaluate_context_relevance
def retrieval_node(state: AppState, config: RunnableConfig):
    # do something
    pass

또한 평가자를 쌓아서 하나의 도구로 여러 가지 지표를 계산할 수 있습니다. evaluate_faithfulness 다음 예는 정답 품질 지표를 계산하기 위해 정답 정확도( generate_node ) 도구와 정답 정확도( evaluate_answer_similarity ) 도구로 장식된 정답 정확도( ) 도구를 보여줍니다

@evaluator.evaluate_faithfulness
@evaluator.evaluate_answer_similarity
def generate_node(state: AppState, config: RunnableConfig):
    # do something
    pass

호출하기

Copy link to section

데이터 행에 대한 애플리케이션을 호출하면, 입력에 개별 행을 추적하고 각 행에 메트릭을 연결하는 데 사용되는 행 키( record_id )가 추가됩니다

result = rag_app.invoke({"input_text": "What is concept drift?", "ground_truth": "Concept drift occurs when the statistical properties of the target variable change over time, causing a machine learning model’s predictions to become less accurate.", "record_id": "12"})
evaluator.get_metrics_df()

다음 예와 같이 호출하면 결과가 생성됩니다

여러 행에 그래프 표시하기

Copy link to section

일괄 호출을 완료하기 위해, 질문과 그 질문에 대한 근거를 포함한 데이터프레임을 정의할 수 있습니다:

import pandas as pd

question_bank_df = pd.read_csv("https://raw.githubusercontent.com/IBM/ibm-watsonx-gov/refs/heads/samples/notebooks/data/agentic/medium_question_bank.csv")
question_bank_df["record_id"] = question_bank_df.index.astype(str)
result = rag_app.batch(inputs=question_bank_df.to_dict("records"))
evaluator.get_metrics_df()

데이터프레임 인덱스는 각 행을 고유하게 식별하기 위한 식별자( record_id )로 사용됩니다.

다음 예와 같이 호출하면 결과가 생성됩니다

자세한 내용은 샘플 노트북을 참고하세요.

상위 주제: Python SDK를 이용한 지표 계산