質問の頑健性評価指標

メトリックの詳細

質問の頑健性は、モデルに送信された不正解の質問の割合を計算する指標です。 漏洩リスクの即応性とは、漏洩攻撃に対する即応テンプレートの堅牢性を測定する指標です。 この評価指標は、 Python SDK を使用して評価指標を計算する場合のみ利用可能です。 詳細については、 IBM watsonx.governance を使用した「敵対的頑強性の計算」および「即時漏洩リスク」 をご覧ください。

範囲

質問の頑健性メトリックは、生成型AI 資産のみを評価します。

• AI 資産の種類: テンプレートを即座に表示
• 生成型AIのタスク ：
  • 質問への回答
  • 検索強化型生成（RAG）
• 対応言語 ：英語