Le module Model Insights peut vous aider à améliorer les performances de vos applications RAG en analysant les résultats des évaluations pour vous aider à identifier les meilleures solutions pour votre cas d'utilisation.
ibm-watsonx-gov Model Insights est un module du kit de développement logiciel (SDK) d' Python. Vous pouvez utiliser le module Model Insights pour créer le tableau de bord Model Insights qui offre un moyen interactif de visualiser et d'analyser les métriques d'évaluation LLM. Vous pouvez utiliser le tableau de bord pour afficher et organiser les enregistrements qui ont dépassé les seuils de métriques configurés.
Pour utiliser le module Model Insights, vous devez disposer d'un ensemble de données contenant des enregistrements LLM évalués avec des métriques précalculées et d'un fichier de configuration qui spécifie les valeurs seuils pour chaque métrique. Pour les applications RAG, les enregistrements contiennent des mesures pour chacune des questions des utilisateurs qui sont utilisées pour tester les applications.
Le module prend en charge l'analyse approfondie des violations afin de faciliter l'investigation des causes profondes et de vous aider à comprendre les facteurs qui contribuent aux scores métriques.
Exemples
Vous pouvez configurer et visualiser les métriques des ensembles de données avec le module Model Insights, comme le montrent les exemples suivants :
Étape 1 : configuration
Créer une configuration de module d'analyse de modèle avec les détails des colonnes de l'ensemble de données et les seuils métriques :
from ibm_watsonx_gov.config import GenAIConfiguration
from ibm_watsonx_gov.metrics import (
AveragePrecisionMetric,
ContextRelevanceMetric,
FaithfulnessMetric,
HitRateMetric,
NDCGMetric,
ReciprocalRankMetric,
RetrievalPrecisionMetric,
UnsuccessfulRequestsMetric
)
from ibm_watsonx_gov.entities.enums import TaskType
from ibm_watsonx_gov.visualizations import ModelInsights
question_field = "question"
context_fields = ["context1", "context2", "context3", "context4"]
configuration = GenAIConfiguration(
input_fields=[question_field]+context_fields,
question_field=question_field,
context_fields=context_fields,
output_fields=["answer"],
task_type=TaskType.RAG,
)
metrics = [
AveragePrecisionMetric(),
ContextRelevanceMetric(),
FaithfulnessMetric(),
HitRateMetric(),
NDCGMetric(),
ReciprocalRankMetric(),
RetrievalPrecisionMetric(),
UnsuccessfulRequestsMetric(),
]
model_insights = ModelInsights(configuration=configuration, metrics=metrics)
Étape 2 : afficher les enregistrements violés
Fournir l'ensemble de données avec des valeurs métriques au module Model Insights pour créer des visualisations interactives basées sur les configurations de seuil :
%matplotlib ipympl
import pandas as pd
# Load the results dataframe from the sample file
df = pd.read_csv("../data/rag/sample_metrics.csv")
# Find the violated records and display them
model_insights.display_metrics(metrics_result=df)
Pour plus d'informations, consultez le carnet Model Insights.
Sujet parent : Calcul des métriques à l'aide du kit de développement logiciel ( Python )