敵対的頑健性評価指標

範囲

敵対的頑健性メトリックは、生成型AI 資産のみを評価します。

• AI 資産の種類: テンプレートを即座に表示
• 生成型AIのタスク ：
  • テキストの分類
  • テキストの要約
  • コンテンツの生成
  • 質問への回答
  • エンティティー抽出
  • 検索強化型生成（RAG）
• 対応言語 ：英語

スコアと価値

「対立的な頑強性のメトリックスコア」は、対立的な攻撃に対するプロンプトテンプレートの耐性を示します。 スコアが低いほど、プロンプトテンプレートが脆弱であり、簡単に攻撃される可能性があることを示します。 スコアが高いほど、そのプロンプトテンプレートは強固で攻撃に耐性があることを示します。

• 値の範囲 ： 0.0-1.0
• 最高得点 ： 1.0

設定

• しきいち：
  • 下限値：0
  • 上限：1

評価プロセス

敵対的頑強性の測定基準を算出するために、評価では、モデルが攻撃に対する応答を提供することを拒否することを示すフレーズのリストを含むキーワード検出器を使用します。 モデル応答はフレーズのリストと比較され、メトリックスコアが計算されます。 これらのスコアは、実際のモデルの頑健性の下限を表しています。 モデルが攻撃に対する回答の提供を明確に拒否しない場合、スコアはプロンプトテンプレートが堅牢ではないことを示します。

制限事項

拒否フレーズの検出 ：

• この評価基準は、モデルの応答を評価するためにあらかじめ定められた拒否フレーズのリストに依存しています。
• 異なるモデルでは、有害なリクエストを拒否するために異なる表現を使用している可能性があり、そのため、検出リストを定期的に更新する必要があります。
• モデルが以下のように反応した場合、評価は頑健性を過小評価する可能性があります
  • 明確な拒否ではなく、疑問点を明確にする
  • リクエストの脆弱性に関する説明
  • 有害なリクエストをかわすための無関係な情報

技術的な制約 ：

• 各評価には、プロンプトテンプレート変数ごとに最低50回の推論が必要であり、コストに影響する可能性があります。

• 計算中のサンプリングは、評価ごとにわずかに異なるスコアをもたらす

• 攻撃ベクトルは、新たに発見された脅威に対処するために、定期的なアップデートが必要です。

• メトリック計算には、 Watsonx.governance の標準/必須プランが必要です。