Le moteur d'évaluation des risques des modèles mesure les risques des modèles de base en calculant des mesures liées aux dimensions du risque pour vous aider à identifier les meilleurs modèles qui atteignent vos objectifs de tolérance au risque.

Le moteur d'évaluation des risques du modèle est un module du ibm-watsonx-gov SDK Python qui peut vous aider à comprendre les risques liés à l'IA générative et à établir des méthodes efficaces pour mesurer et atténuer les risques. Ce module permet de fournir des évaluations quantitatives des risques des modèles de base et prend en charge les évaluations des modèles de langage à grande échelle d' watsonx.ai, ainsi que des modèles externes d'autres fournisseurs.

Les évaluations calculent des mesures pour les dimensions de risque suivantes :

• Rejets toxiques
• Production nocive
• Fuite rapide
• Libre
• Injection rapide
• Jailbreaking
• Biais de sortie
• Génération de code nuisible

Les dimensions de risque sont un ensemble de risques qui peuvent survenir lors de l'utilisation d'actifs d'IA générative et de modèles d'apprentissage automatique. Pour plus d'informations, consultez l'Atlas des risques de l'IA. Les dimensions de risque disponibles sont un sous-ensemble des risques disponibles dans l'Atlas des risques.

Vous devez fournir des informations d' watsonx.ai s pour calculer les mesures des risques de jailbreak, de fuite de prompt, de génération de code nuisible et d'injection de prompt. Pour chaque dimension du risque, un ou plusieurs ensembles de données standardisées sont utilisés pour évaluer le niveau de risque.

Une fois les évaluations des risques terminées, vous pouvez enregistrer les résultats dans la console de gouvernance ou les exporter sous forme de rapport PDF qui résume les mesures calculées.

Vous pouvez utiliser le moteur d'évaluation des risques du modèle pour effectuer les tâches suivantes :

• Calculer des métriques avec watsonx.ai comme moteur d'inférence.
• Calculer les mesures de risque pour les modèles de base dans l' watsonx.ai.
• Calculer des métriques pour les modèles de base qui ne sont pas dans l' watsonx.ai, en implémentant votre propre fonction de notation pour n'importe quel modèle et en l'évaluant.
• Stocker les métriques calculées dans la console de gouvernance ( OpenPages ).
• Récupérer les métriques calculées à partir de la console de gouvernance ( OpenPages ).
• Générer un rapport PDF des mesures calculées.
• Affichez les mesures dans une cellule de carnet de notes sous forme de tableau ou de graphique.

from ibm_watsonx_gov.config.model_risk_configuration import ModelRiskConfiguration, WxGovConsoleConfiguration

configuration = ModelRiskConfiguration(
    model_details = model_details,
    risk_dimensions=risk_dimensions,
    max_sample_size=max_sample_size,
    pdf_report_output_path=pdf_report_output_path,
    # wx_gc_configuration=wx_gc_configuration, # uncomment this line if the result should be pushed to Governance Console (OpenPages)
)

from ibm_watsonx_gov.evaluate import evaluate_model_risk

evaluation_results = evaluate_model_risk(
    configuration=configuration,
    credentials=credentials,
)

print(evaluation_results.risks)

from ibm_wos_utils.joblib.utils.notebook_utils import  create_download_link_for_file
pdf_file = create_download_link_for_file(evaluation_results.output_file_path)
display((pdf_file))