プロジェクトのプロンプトテンプレートをwatsonx.governanceで評価することで、foundation modelのタスクのパフォーマンスを測定し、モデルがどのように応答を生成するかを理解することができます。
watsonx.governance を使用すると、プロジェクトのプロンプト テンプレートを評価し、以下のタスク タイプに対して基礎モデルがどの程度効果的に応答を生成しているかを測定できます：
- 機密区分
- 要約
- 生成
- 質問への回答
- エンティティー抽出
- 取得の拡張生成
開始前に
プロンプト・テンプレートを評価するには、プロジェクトにアクセスする必要があります。 詳しくは、セットアップ watsonx.governanceを参照してください。
評価を実行するには、watsonx.governanceとwatsonx.aiインスタンスがインストールされているwatsonxアカウントにログインし、スイッチする必要があります。 次にプロジェクトを開く。 プロジェクトを開くには、アカウントに管理者または編集者のロールが割り当てられている必要があります。
プロジェクトでは、watsonx.ai Prompt Labを使用してプロンプト・テンプレートを作成し、保存する必要があります。 評価を有効にするには、プロンプトテンプレートを作成するときに変数を指定する必要があります。 Prompt Labの Tryセクションには、少なくとも1つの変数を含める必要があります。
プロンプト・テンプレートをプロジェクトで評価する方法をビデオでご覧ください。
このビデオは、このドキュメントのコンセプトとタスクを学ぶための視覚的な方法を提供します。
以下のセクションでは、プロジェクトでプロンプトテンプレートを評価し、評価結果を確認する方法について説明します。
ランニング評価
プロンプト テンプレートの評価を実行するには、watsonx.governance の Assets タブで保存したプロンプト テンプレートを開くときに Evaluate をクリックすると、Evaluate prompt template ウィザードが開きます。 評価を実行できるのは、プロジェクトの管理者または編集者ロールが割り当てられている場合のみです。
カスタムモデルまたは調整済みモデルを使用したプロンプトテンプレートの評価
プロジェクトでカスタムまたは調整されたfoundation modelの展開を使用するプロンプトテンプレートを評価することができます。 また、これらのモデルを異なるプロジェクト間で移動する際にも、管理および展開が可能です。 詳細については 、「プロンプトテンプレートのプログラムによる展開 」を参照してください。
以下のセクションでは、プロジェクトでプロンプトテンプレートを評価し、評価結果を確認する方法について説明します。
ランニング評価
プロンプトテンプレートの評価を実行するには、プロジェクトの [アセット] タブで保存したプロンプトテンプレートを開く際に [評価] を選択すると、 プロンプトテンプレートの評価ウィザードが開きます。
プロジェクトに関連付けられた watsonx.governanceがない場合、評価を実行する前に、 [サービスインスタンスの関連付け] ダイアログボックスで [サービスインスタンスの関連付け] を選択する必要があります。 評価ウィンドウのAssociateインスタンスでは、 watsonx.governanceを選択し、プロジェクトにインスタンスを関連付けるためにAssociate a service instance を選択する必要があります。 プロジェクトのインスタンスを関連付けるには、プロジェクトに管理者権限が割り当てられている必要があります。
watsonx.governanceに関連付けられたデータベースをお持ちでない場合は、評価を実行する前にデータベースを関連付ける必要があります。 データベースを関連付けるには、データベースに接続するために 、[データベースの関連付け] ダイアログボックスで [データベースの関連付け] をクリックする必要があります。 データベースを関連付けるには、プロジェクトwatsonx.governanceに 管理者ロールが割り当てられている必要があります。
ディメンションの選択
プロンプトテンプレートの評価ウィザードは、プロンプトに関連付けられているタスクタイプに対して評価可能な寸法を表示する。 ディメンジョンを展開すると、選択したディメンジョンの評価に使用されるメトリクスのリストを表示できます。
Watsonx.governanceは、各ディメンジョンの評価をデフォルト設定で自動的に構成します。 異なる設定で評価を構成するには、詳細設定を選択して、サンプルサイズを設定し、プロンプト・テンプレートを評価するために使用するメトリクスを選択することができます：
また、評価のために選択した各指標にしきい値を設定することもできる：
テスト・データの選択
テストデータを選択するには、参照してCSVファイルをアップロードするか、プロジェクトからアセットを選択します。 選択するテストデータには、参照列と各プロンプト変数の列が含まれている必要があります。
変数のマッピング
プロンプト変数をテストデータの関連カラムにマッピングする必要があります。
レビューと評価
プロンプトテンプレートの評価を実行する前に、プロンプトタスクのタイプ、アップロードされたテストデータ、および実行される評価のタイプの選択を確認できます。
評価結果のレビュー
評価が完了すると、watsonx.governance の Evaluate タブで評価結果のサマリーを確認し、モデルのパフォーマンスに関する洞察を得ることができます。 サマリーには、プロンプトテンプレート評価のメトリックスコアおよびデフォルトスコアのしきい値違反の概要が表示されます。
プロジェクトにビューアロールが割り当てられている場合、資産タブの資産リストから評価を選択すると、評価結果を見ることができます。
結果を分析するには、プロンプトテンプレートの評価の横にある矢印 
をクリックすると、時間の経過に伴う結果のデータ可視化を表示できます。 また、プロンプトテンプレートの評価時にデフォルトで実行されるモデル健全性評価の結果を分析し、モデルがどれだけ効率的にデータを処理しているかを把握することもできます。
Actionsメニューには、結果の分析に役立つ以下のオプションもあります：
- 今すぐ評価：別のテストデータセットで評価を実行する
- すべての評価：評価の履歴を表示し、時間の経過による結果の変化を把握できます。
- モニターを設定する：評価のしきい値とサンプルサイズを設定します。
- モデル情報を見る：モデルの詳細を表示し、デプロイ環境がどのように設定されているかを理解します。
プロンプト テンプレートを追跡する場合、評価結果をレビューして、AIのライフサイクル全体を通してモデルのパフォーマンスに関する洞察を得ることができます。
親トピック AIモデルの評価