Docs
...
Model insights

모델 통찰력

마지막 업데이트 날짜: 2025년 3월 25일
모델 통찰력

모델 인사이트 모듈은 평가 결과를 분석하여 사용 사례에 가장 적합한 솔루션을 식별하는 데 도움을 줌으로써 RAG 애플리케이션의 성능을 향상시킬 수 있습니다.

Model insights는 ibm-watsonx-gov Python SDK의 모듈입니다. 모델 인사이트 모듈을 사용하여 LLM 평가 지표를 시각화하고 분석하는 대화형 방법을 제공하는 모델 인사이트 대시보드를 구축할 수 있습니다. 대시보드를 사용하여 설정된 지표 임계값을 위반한 기록을 보고 정리할 수 있습니다.

모델 인사이트 모듈을 사용하려면, 미리 계산된 지표가 포함된 평가된 LLM 기록이 포함된 데이터 세트와 각 지표의 임계값을 지정하는 구성 파일이 있어야 합니다. RAG 애플리케이션의 경우, 기록에는 애플리케이션을 테스트하는 데 사용되는 각 사용자 질문에 대한 지표가 포함되어 있습니다.

이 모듈은 위반 사항에 대한 심층 분석을 지원하여 근본 원인 조사를 용이하게 함으로써 지표 점수에 영향을 미치는 요인을 이해하는 데 도움이 됩니다.

예

다음 예와 같이 모델 인사이트 모듈을 사용하여 데이터 세트에 대한 지표를 구성하고 시각화할 수 있습니다

1단계: 설정

데이터 세트 열과 지표 임계값에 대한 세부 정보가 포함된 모델 인사이트 모듈 구성을 만듭니다

from ibm_watsonx_gov.config import GenAIConfiguration
from ibm_watsonx_gov.metrics import (
    AveragePrecisionMetric,
    ContextRelevanceMetric,
    FaithfulnessMetric,
    HitRateMetric,
    NDCGMetric,
    ReciprocalRankMetric,
    RetrievalPrecisionMetric,
    UnsuccessfulRequestsMetric
)
from ibm_watsonx_gov.entities.enums import TaskType
from ibm_watsonx_gov.visualizations import ModelInsights

question_field = "question"
context_fields = ["context1",  "context2", "context3", "context4"]

configuration = GenAIConfiguration(
    input_fields=[question_field]+context_fields,
    question_field=question_field,
    context_fields=context_fields,
    output_fields=["answer"],
    task_type=TaskType.RAG,
)

metrics = [
    AveragePrecisionMetric(),
    ContextRelevanceMetric(),
    FaithfulnessMetric(),
    HitRateMetric(),
    NDCGMetric(),
    ReciprocalRankMetric(),
    RetrievalPrecisionMetric(),
    UnsuccessfulRequestsMetric(),
]

model_insights = ModelInsights(configuration=configuration, metrics=metrics)

2단계: 위반 기록 표시

모델 인사이트 모듈에 메트릭 값이 포함된 데이터 세트를 제공하여 임계값 설정을 기반으로 하는 대화형 시각화를 생성합니다

%matplotlib ipympl
import pandas as pd

# Load the results dataframe from the sample file
df = pd.read_csv("../data/rag/sample_metrics.csv")

# Find the violated records and display them
model_insights.display_metrics(metrics_result=df)

더 자세한 정보를 원하시면, 모델 인사이트 노트북을 참고하세요.

상위 주제: Python SDK를 이용한 지표 계산