0 / 0
資料の 英語版 に戻る

キーワード含有評価指標

最終更新: 2025年2月26日
キーワード含有評価指標

キーワード包含率は、 基盤モデルと参照または基準値との間の名詞および代名詞の類似性を測定します。

メトリックの詳細

キーワードの包含率は、参照または基準となるテキストに含まれる特定のフレーズやキーワードに一致するテキストをモデルがどの程度生成しているかを測定する指標です。 この評価指標は、 Python SDK を使用して評価指標を計算する場合にのみ利用可能です。 詳細については、 IBM watsonx.governance を使用した「敵対的頑健性の計算」および「即時リークリスク」 を参照してください。

範囲

キーワード包含率の指標は、生成型AI 資産のみを評価します。

  • AI 資産の種類: テンプレートを即座に表示
  • 生成型AIのタスク ：
    • テキストの要約
    • 質問への回答
    • 検索強化型生成（RAG）
  • 対応言語 ：英語

スコアと価値

キーワード包含率スコアは、生成された出力と参照または基準値に存在するキーワードの割合を示します。

  • 値の範囲 ： 0.0-1.0
  • 最高得点 ： 1.0
  • 比率：
    • 0の場合：出力に類似キーワードは含まれていません
    • 0以上：出力に含まれる類似キーワードの数が増加している。

親トピック： 評価基準