このタスクをプレビューするには、 00:16 から始まるビデオをご覧ください。

リソースハブには、Evaluation Studioで比較できるサンプルプロンプトテンプレートを含むサンプルプロジェクトが含まれています。 サンプルを基にプロジェクトを作成するには、以下の手順に従います

1. ホーム画面から、 新規プロジェクト作成アイコン をクリックします。

2. サンプルを選択します。

3. Getting started with watsonx.governance を検索し、そのサンプルプロジェクトを選択して、 [次へ] をクリックします。

4. 既存の オブジェクト・ストレージ・サービス・インスタンス を選択するか、または新規作成します。

5. 「作成」 をクリックします。

6. プロジェクトのインポートが完了するまで待ち、 [新しいプロジェクトを表示] をクリックします。

7. watsonx.ai ランタイムサービスをプロジェクトに関連付けます。 詳細については watsonx.ai ランタイムを参照してください。

   1. プロジェクトが開いたら 、「管理」タブをクリックし 、「サービスと統合」ページを選択します。

   2. IBM サービス] タブで、 [サービスを関連付ける ] をクリックします。

   3. watsonx.ai の実行インスタンスを選択します。 watsonx.aiのランタイムサービスインスタンスをプロビジョニングしていない場合は、以下の手順に従ってください

      1. 新しいサービスをクリックします。

      2. watsonx.ai ランタイムを選択します。

      3. 「作成」 をクリックします。

      4. リストから新しいサービスインスタンスを選択します。

   4. 「関連サービス 」をクリックします。

   5. 必要に応じて 、[キャンセル] をクリックして [サービス & 統合] ページに戻ります。

8. プロジェクト内の 資産 タブをクリックすると、 資産が表示されます。

詳細情報またはビデオの視聴については 、「プロジェクトの作成」 を参照してください。 関連サービスの詳細については 、「関連サービスの追加 」を参照してください。

このタスクのプレビューを見るには、 1:11 から始まるビデオをご覧ください。

プロンプトのパフォーマンスを比較するには、評価スタジオのテストを作成する必要があります。 以下の手順に従って、実験を作成してください

1. 資産 タブから、 新しい資産 > プロンプトを評価および比較する をクリックします。

2. セットアップページで、名前に Summarization Evaluation experiment と入力します。

3. タスクの種類を選択します。 この場合、要約プロンプトテンプレートを比較したいので 、「要約」 を選択します。

4. 「次へ」 をクリックして、 プロンプト テンプレートページに進みます。

5. 保険請求サマリー 、2 保険請求サマリー、 3 保険請求サマリープロンプトテンプレートを選択します。

   これらのプロンプトテンプレートの3つすべてに 「入力変数」 が含まれていることに注目してください。これは、Evaluation Studioの要件です。

6. 「次へ」 をクリックして、 「メトリック」 ページに進みます。

7. 生成AIの品質とモデルの健全性のセクションを展開して、評価に使用される指標を確認します。

8. 「次へ」 をクリックして、 テスト データページに進みます。

9. テストデータを選択します

   1. プロジェクトからデータを選択をクリックしてください。

   2. プロジェクトファイル > 保険請求の要約data.csv を選択します。

      アップロードするテストデータには、各プロンプト変数に対する参照出力および入力カラムを含める必要があります。 参照出力列は、ROUGEやBLEUなどの参照ベースの指標を計算するために使用されます。

   3. 「選択」をクリックします。

   4. 入力列には 、Insurance_Claim を選択します。

   5. 参照出力列では、 サマリー を選択します。

10. 次へをクリックして、 レビューと実行ページに進みます。

11. 構成を確認し 、「評価を実行」 をクリックします。 評価には数分かかる場合があります。

このタスクのプレビューを見るには、 2分26秒から始まるビデオをご覧ください。

これで、 資産を評価し比較する準備ができました。 以下の手順に従って、Evaluation Studio の結果を確認してください

1. 評価が完了したら、 メトリック比較の視覚化を表示します。

   グラフは、選択した各プロンプトテンプレートの結果を比較します。 可視化ディスプレイは、各評価基準でスコアが閾値を上回っているかどうかを表示します。

2. レコードリストをクリックして、別のメトリックを選択します。 例えば 、「コンテンツ分析」 を選択すると、選択した指標に基づくチャートの更新を確認できます。

   

3. グラフ内の棒グラフにカーソルを合わせると詳細が表示されます。

4. ビジュアル化の下にある表で、3つのプロンプトテンプレートを確認してください。 それぞれのプロンプトで異なる foundation model が使用されていることに注意してください。

5. 比較を行うには、プロンプトテンプレートの横にある 「参照として設定」 アイコン をクリックします。

   参照テンプレートを設定すると、表内の列がハイライトされ、 資産て、他の資産のパフォーマンスが優れているか、劣っているかが示されます。

6. カスタムランキングアイコン をクリックします。

   

   結果を分析するために、重み付けの要因とランキングの計算式を指定して、異なるグループ間で独自のランキングを作成し、どのプロンプトテンプレートが最も高いパフォーマンスを発揮しているかを判断することもできます。 カスタムランキングを作成する際には、ランキングに関連する評価基準を選択し、それらに重み付けをすることができます。 「キャンセル」をクリックします。

7. 評価を再度実行するには、 設定の調整アイコン をクリックします。 評価の詳細] パネルを使用して、テストデータを更新したり、メトリクスを再構成します。

8. 実験を編集するには、 資産 アイコン をクリックして、評価から資産を削除または追加し、比較を変更します。

9. 表から、プロンプトテンプレートの横にある 溢れ出る メニュー をクリックし、 ファクトシートを見る を選択します。 ファクトシートは、AIライフサイクルの各段階における資産の詳細を把握し、ガバナンスとコンプライアンスの目標達成を支援します。

10. ファクトシート ページを閉じると、評価スタジオに戻ります。

11. ここから、AIのユースケースにおけるプロンプトテンプレートの追跡を開始できます。 表から、プロンプトテンプレートの横にあるオーバーフローメニュー をクリックし、 AI使用事例の追跡を選択します。