0 / 0
資料の 英語版 に戻る
クイック・スタート: プロンプト・テンプレートの評価と追跡

クイック・スタート: プロンプト・テンプレートの評価と追跡

このチュートリアルでは、プロンプト・テンプレートを評価および追跡する方法について学習します。 プロジェクトまたはデプロイメント・スペース内のプロンプト・テンプレートを評価して、基盤モデル・タスクのパフォーマンスを測定し、モデルがどのように応答を生成するかを理解することができます。 その後、AI ユース・ケースでプロンプト・テンプレートを追跡して、資産に関する事実を収集して共有することで、ガバナンスとコンプライアンスの目標を達成することができます。

必須のサービス
watsonx.governance

基本的なワークフローには、以下のタスクが含まれます:

  1. 評価するプロンプト・テンプレートを含むプロジェクトを開きます。 プロジェクトは、資産を処理するために他のユーザーとコラボレーションできる場所です。
  2. テスト・データを使用してプロンプト・テンプレートを評価します。
  3. AI Factsheet で結果を確認します。
  4. AI ユース・ケースで評価されたプロンプト・テンプレートを追跡します。
  5. 評価済みプロンプト・テンプレートをデプロイしてテストします。

プロンプト・テンプレートについて読む

watsonx.governanceを使用すると、プロジェクト内のプロンプト・テンプレートを評価して、基盤モデルが以下のタスク・タイプに対してどの程度効果的に応答を生成するかを測定できます。

  • 分類
  • 要約
  • 生成
  • 質問への回答
  • エンティティー抽出

プロジェクト内のプロンプト・テンプレートの評価についての詳細

デプロイメント・スペースでのプロンプト・テンプレートの評価についての詳細

プロンプト・テンプレートの評価と追跡に関するビデオを見る

< このチュートリアルのステップをプレビューするには、このビデオをご覧ください。 ビデオに表示されるユーザー・インターフェースには若干の違いがある可能性があります。 このビデオは、作成されたチュートリアルのコンパニオンとなることを目的としています。

このビデオは、この資料の概念とタスクを学習するための視覚的な方法を提供します。


プロンプト・テンプレートの評価およびトラッキングに関するチュートリアルを試す

このチュートリアルでは、以下のタスクを実行します:





このチュートリアルを完了するためのヒントこのチュートリアルを正常に完了するためのヒントを以下に示します。

ビデオ・ピクチャー・イン・ピクチャーの使用

ヒント: ビデオを開始してから、チュートリアルをスクロールすると、ビデオはピクチャー・イン・ピクチャー・モードに移動します。 ピクチャー・イン・ピクチャーを最適に使用するために、ビデオの目次を閉じます。 ピクチャー・イン・ピクチャー・モードを使用すると、このチュートリアルのタスクを実行する際にビデオに従うことができます。 追跡する各タスクのタイム・スタンプをクリックします。

以下のアニメーション・イメージは、ビデオ・ピクチャー・イン・ピクチャーおよび目次機能の使用方法を示しています。

ピクチャー・イン・ピクチャーおよび章の使用方法

コミュニティーでのヘルプの利用

このチュートリアルでヘルプが必要な場合は、 watsonx コミュニティー・ディスカッション・フォーラムで質問したり、回答を見つけたりすることができます。

ブラウザー・ウィンドウのセットアップ

このチュートリアルを最適に実行するには、1 つのブラウザー・ウィンドウで Cloud Pak for Data を開き、このチュートリアル・ページを別のブラウザー・ウィンドウで開いたままにして、2 つのアプリケーションを簡単に切り替えることができます。 2 つのブラウザー・ウィンドウを横並びに配置して、見やすくすることを検討してください。

横並びのチュートリアルと UI

ヒント: ユーザー・インターフェースでこのチュートリアルを実行中にガイド付きツアーが表示された場合は、 「後で実行することもあります」をクリックします。



タスク 1: モデル・インベントリーと AI ユース・ケースの作成

チュートリアル・ビデオのプレビュー このタスクをプレビューするには、 00:09から始まるビデオをご覧ください。

モデル・インベントリーは、AI ユース・ケースを保管および検討するためのものです。 AI ユース・ケースは、組織が追跡する AI 資産のガバナンス・ファクトを収集します。 インベントリー内のすべての AI ユース・ケースを表示できます。

タスク 1a: モデル・インベントリーの作成

モデル・インベントリーを作成するには、以下の手順を実行します。

  1. ナビゲーション・メニュー ナビゲーション・メニューから、 「AI ガバナンス」>「AI ユース・ケース」を選択します。

  2. インベントリーの管理:

    1. 「新規インベントリー」をクリックします。

    2. 名前として、以下のテキストをコピー・アンド・ペーストします。

      Golden Bank Insurance Inventory
      
    3. 説明については、以下のテキストをコピー・アンド・ペーストしてください。

      Model inventory for insurance related processing
      
    4. 「作成後にコラボレーターを追加」 オプションをクリアします。 インベントリー・レベルおよび AI ユース・ケース・レベルでアクセスを制限することができます。

    5. リストから Cloud Object Storage インスタンスを選択します。

    6. 「作成」 をクリックします。

  3. 「インベントリーの管理」 ページを閉じます。

チェックポイント・アイコン 進行状況を確認してください

次の図は、モデル・インベントリーを示しています。 これで、AI ユース・ケースを作成する準備ができました。

モデル・インベントリー

タスク 1b: AI ユース・ケースの作成

AI ユース・ケースは、AI を活用して解決できる定義済みのビジネス上の問題です。 通常、これらは、AI 資産が開発される前に定義されます。 AI ユース・ケースを作成するには、以下の手順を実行します。

  1. 「新規 AI ユース・ケース」をクリックします。

  2. 「名前」に、以下のテキストをコピーして貼り付けます。

    Insurance claims processing AI use case
    
  3. 既存のモデル・インベントリーを選択します。

  4. 「作成」 をクリックして、残りのフィールドのデフォルト値を受け入れます。

チェックポイント・アイコン 進行状況を確認してください

以下の図は、AI のユース・ケースを示しています。 これで、プロンプト・テンプレートを追跡する準備ができました。

AIユースケース




タスク 2: プロジェクトの作成

チュートリアル・ビデオのプレビュー このタスクをプレビューするには、 00:51から始まるビデオをご覧ください。

プロンプト・テンプレートと評価を保管するには、プロジェクトが必要です。 サンプルに基づいてプロジェクトを作成するには、以下の手順を実行します。

  1. リソース・ハブの watsonx ガバナンス入門 プロジェクトにアクセスします。

    1. 「プロジェクトの作成」をクリックします。

    2. プロジェクト名のデフォルト値を受け入れて、 「作成」をクリックします。

    3. プロジェクトが正常に作成されたら、 「新規プロジェクトの表示」 をクリックします。

  2. Watson Machine Learning Service をプロジェクトに関連付けます。 詳しくは、 Watson Machine Learningを参照してください。

    1. プロジェクトが開いたら、 「管理」 タブをクリックし、 「サービスと統合」 ページを選択します。

    2. IBM サービス」 タブで、 「サービスの関連付け」をクリックします。

    3. Watson Machine Learning インスタンスを選択します。 Watson Machine Learning サービス・インスタンスがまだプロビジョンされていない場合は、以下の手順を実行します。

      1. 「新規サービス」をクリックします。

      2. Watson Machine Learningを選択します。

      3. 「作成」 をクリックします。

      4. リストから新規サービス・インスタンスを選択します。

    4. 「サービスの関連付け」をクリックします。

    5. 必要に応じて、 「キャンセル」 をクリックして 「サービス」&「統合」 ページに戻ります。

  3. プロジェクトの 「アセット」 タブをクリックして、サンプル・アセットを表示します。

詳しくは、またはビデオを視聴するには、 プロジェクトの作成を参照してください。

関連付けられたサービスについて詳しくは、 関連付けられたサービスの追加を参照してください。

チェックポイント・アイコン 進行状況を確認してください

以下のイメージは、プロジェクトの「資産」タブを示しています。 これで、プロジェクト内のサンプル・プロンプト・テンプレートを評価する準備ができました。

サンプル・プロジェクト資産




タスク 3: サンプル・プロンプト・テンプレートの評価

チュートリアル・ビデオのプレビュー このタスクをプレビューするには、 01:28から始まるビデオをご覧ください。

サンプル・プロジェクトには、テスト・データとして使用されるいくつかのプロンプト・テンプレートと CSV ファイルが含まれています。 以下のステップに従って、テスト・データをダウンロードし、いずれかのサンプル・プロンプト・テンプレートを評価します。

  1. サンプル・プロジェクトからテスト・データをダウンロードします。 評価中にテスト・データのローカル・ファイルを指定する必要があります。

    1. 「資産」タブをクリックします。
    2. Insurance claim summarization test data.csv ファイルで、 「オーバーフロー」 メニュー オーバーフロー・メニューをクリックし、 「ダウンロード」を選択します。
    3. CSV ファイルをローカルに保存します。
  2. 「保険請求の要約」 をクリックしてプロンプト・テンプレートをプロンプト・ラボで開き、 「編集」をクリックします。

  3. 「プロンプト変数」 アイコン プロンプト変数をクリックします。

    注: 評価を実行するには、少なくとも 1 つのプロンプト変数を作成する必要があります。
  4. 「Try」 セクションまでスクロールします。 「入力」 フィールドの {input} 変数に注目してください。 プロンプトをテストするには、プロンプト変数を入力として含める必要があります。 プロンプト変数は、作成時にプロンプトの静的テキストに組み込み、実行時に動的にテキストで置換するプレースホルダー・キーワードです。

  5. 「評価」 アイコン 評価をクリックします。

  6. 「一般的な AI 品質」 セクションを展開して、ディメンションのリストを表示します。 使用可能なメトリックは、プロンプトのタスク・タイプによって異なります。 例えば、要約には分類とは異なるメトリックがあります。

  7. 次へ をクリックします。

  8. テスト・データの選択:

    1. 「参照」をクリックします。
    2. 以前にダウンロードした Insurance claim summarization test data.csv ファイルを選択します。
    3. 「開く」をクリックします。
    4. 「入力」列で、 「insurance_Claim」を選択します。
    5. 「参照出力列」で、 「要約」を選択します。
    6. 次へ をクリックします。
  9. 「評価」をクリックします。 評価が完了するまでに数分かかることがあります。 評価が完了すると、 「評価」 タブにテスト結果が表示されます。 このページには、この評価実行に関する詳細情報が表示されるため、モデルのパフォーマンスに関する洞察を得ることができます。 この要約では、プロンプト・テンプレート評価の評価指標スコアおよびデフォルトのスコアしきい値の違反の概要が示されます。

  10. 「AI Factsheet」 タブをクリックします。

    1. タブの各セクションに関する情報を表示します。
    2. 「評価」>「開発」>「テスト」 をクリックして、テスト結果を再度表示します。

チェックポイント・アイコン 進行状況を確認してください

以下のイメージは、評価の結果を示しています。 これで、AI ユース・ケースでプロンプト・テンプレートのトラッキングを開始できるようになりました。

プロンプト・テンプレートの評価テスト結果




タスク 4: プロンプト・テンプレートのトラッキングの開始

チュートリアル・ビデオのプレビュー このタスクをプレビューするには、 02:37から始まるビデオをご覧ください。

AI ユース・ケースでプロンプト・テンプレートを追跡して、開発とテストのプロセスを同僚に報告することができます。 プロンプト・テンプレートのトラッキングを開始するには、以下の手順を実行します。

  1. ナビゲーション・メニュー ナビゲーション・メニューから、 「プロジェクト」>「すべてのプロジェクトを表示」を選択します。
  2. 「 watsonx ガバナンス入門」 プロジェクトを選択します。
  3. 「資産」タブをクリックします。
  4. 「保険請求の要約 (Insurance claim summarization)」 プロンプト・テンプレートの 「オーバーフロー」 メニュー オーバーフロー・メニュー から、 「AI Factsheet の表示 (View AI Factsheet)」を選択します。 すべての AI 資産には、AI のファセット・シートがあります。これには、資産がどのように作成されたか、AI のライフサイクル全体での評価結果、および追加の添付ファイルに関する詳細情報が含まれています。
  5. 「AI Factsheet」 タブで、 「ガバナンス」 ページをクリックします。
  6. 「AI ユース・ケースの追跡」をクリックします。
  7. 「Insurance claims processing AI use case」を選択します。
  8. 次へ をクリックします。
  9. アプローチを選択します。 アプローチは、AI ユース・ケースによって表されるビジネス上の問題に対するソリューションの 1 つの側面です。 例えば、ユース・ケースで複数のプロンプト・テンプレートを追跡するためのアプローチを作成できます。
  10. 次へ をクリックします。
  11. モデル・バージョンとして 「Experimental」を選択します。
  12. バージョン番号のデフォルト値を受け入れます。
  13. 次へ をクリックします。
  14. 情報を確認し、 「資産の追跡 (Track asset)」をクリックします。
  15. モデル・トラッキングが正常に開始されたら、 「詳細の表示」 アイコン 詳細の表示 をクリックして AI ユース・ケースを開きます。
  16. 「ライフサイクル」 タブをクリックして、プロンプト・テンプレートが 「開発」 フェーズにあることを確認します。 プロンプト・テンプレートは、AI ライフサイクル全体を移動する際に、以下のフェーズを移動します。
    • 「開発」 フェーズ: プロジェクト環境で開発された AI 資産。
    • 「テスト」 フェーズ: テスト用にスペースにデプロイされた ML モデル。
    • 検証 フェーズ: 検証のためにスペースまたはプロジェクトにデプロイされた AI 資産。
    • 運用 フェーズ: 運用のためにスペースにデプロイされた AI 資産。

チェックポイント・アイコン 進行状況を確認してください

以下のイメージは、「開発」フェーズでプロンプト・テンプレートを使用する AI ユース・ケースの「ライフサイクル」タブを示しています。 これで、検証フェーズに進む準備ができました。

AI ユース・ケースの「ライフサイクル」タブ




タスク 5: 検証用の新規プロジェクトの作成

チュートリアル・ビデオのプレビュー このタスクをプレビューするには、 03:27から始まるビデオをご覧ください。

通常、プロンプト・エンジニアはテスト・データを使用してプロンプトを評価し、検証エンジニアはプロンプトを検証します。 検証エンジニアは、プロンプト・エンジニアが持っていない可能性がある検証データにアクセスできます。 この場合、検証データは別のプロジェクトで発生します。 以下のステップに従って、開発プロジェクトをエクスポートし、それを新しい検証プロジェクトとしてインポートして、資産を AI ライフサイクルの検証フェーズに移動します。

  1. ナビゲーション・メニュー ナビゲーション・メニューから、 「プロジェクト」>「すべてのプロジェクトを表示」を選択します。

  2. 「 watsonx ガバナンス入門」 プロジェクトを選択します。

  3. 「インポート/エクスポート」 アイコン インポート/エクスポート > 「プロジェクトのエクスポート」をクリックします。

  4. すべての資産を選択するにはボックスにチェック・マークを付けます。

  5. 「エクスポート」をクリックします。

  6. プロジェクト名として、以下のテキストをコピーして貼り付け、 「保存」をクリックします。

    validation project.zip
    
  7. プロジェクトのエクスポートが完了したら、 「プロジェクトに戻る」をクリックします。

  8. ナビゲーション・メニュー ナビゲーション・メニューから、 「プロジェクト」>「すべてのプロジェクトを表示」を選択します。

  9. 新規プロジェクトをクリックしてください。

    1. 「ファイルのサンプルからプロジェクトを作成」を選択します。

    2. 「参照」をクリックします。

    3. validation project.zipを選択し、 「開く」をクリックします。

    4. プロジェクト名として、以下のテキストをコピーして貼り付けます。

      Validation project
      
    5. 「作成」 をクリックします。

  10. プロジェクトが作成されたら、 「新規プロジェクトの表示」.1 をクリックします。 ステップ 1 と同じステップに従って、 Watson Machine Learning サービスをこのプロジェクトに関連付けます。

チェックポイント・アイコン 進行状況を確認してください

以下のイメージは、検証プロジェクトの「資産」タブを示しています。 これで、検証プロジェクトでサンプル・プロンプト・テンプレートを評価する準備ができました。

検証プロジェクト資産




タスク 6: プロンプト・テンプレートの検証

チュートリアル・ビデオのプレビュー このタスクをプレビューするには、 04:22から始まるビデオをご覧ください。

これで、以前と同じ評価プロセスを使用して、この検証プロジェクトのプロンプト・テンプレートを評価する準備ができました。 評価に同じテスト・データ・セットを使用します。 また、以前と同じ「入力」列と「出力」列を選択します。 プロンプト・テンプレートを検証するには、以下の手順を実行します。

  1. 「検証プロジェクト」「資産」 タブをクリックします。
  2. タスク 2 のステップを繰り返して、 「Claims processing summarization」 プロンプト・テンプレートを評価します。
  3. 評価が完了したら、 「AI Factsheet」 タブをクリックします。
  4. 両方のテスト結果のセットを表示します。
    1. 「評価」>「開発」>「テスト」をクリックします。
    2. 「評価」>「検証」>「テスト」をクリックします。

チェックポイント・アイコン 進行状況を確認してください

以下のイメージは、検証テストの結果を示しています。 これで、プロンプト・テンプレートをデプロイメント・スペースにプロモートしてから、プロンプト・テンプレートをデプロイする準備ができました。

プロンプト・テンプレートの評価テスト結果




タスク 7: プロンプト・テンプレートのデプロイ

チュートリアル・ビデオのプレビュー このタスクをプレビューするには、 05:04から始まるビデオをご覧ください。

タスク 7a: プロンプト・テンプレートをデプロイメント・スペースにプロモートします。

プロンプト・テンプレートをデプロイするための準備として、そのプロンプト・テンプレートをデプロイメント・スペースにプロモートします。 プロンプト・テンプレートにプロンプトを出すには、以下の手順を実行します。

  1. プロジェクトのナビゲーション・トレールで 「検証プロジェクト」 をクリックします。
  2. 「Insurance claim summarization」 プロンプト・テンプレートの 「Overflow」 メニュー オーバーフロー・メニュー から、 「Promote to space」を選択します。
  3. ターゲット・スペースの場合は、 新規デプロイメント・スペースの作成を選択してください。
    1. 「スペース名」に、以下のテキストをコピーして貼り付けます。

      Insurance claims deployment space
      
    2. 「デプロイメント・ステージ」で、 「実稼働」を選択します。

      重要: デプロイメントを Evaluate ステージから Operate ステージに移動する場合は、デプロイメント・ステージに「実動」を選択する必要があります。
    3. リストから機械学習サービスを選択します。

    4. 「作成」 をクリックします。

    5. 「閉じる」をクリックします。

  4. リストから 「Insurance claims deployment space」 デプロイメント・スペースを選択します。
  5. 「プロンプト・テンプレートのプロモート後にスペースに移動」のオプションにチェック・マークを付けます。
  6. プロモートをクリックします。

チェックポイント・アイコン 進行状況を確認してください

以下のイメージは、デプロイメント・スペース内のプロンプト・テンプレートを示しています。 これで、デプロイメントを作成する準備ができました。

デプロイメント・スペース内のプロンプト・テンプレート

タスク 7b: プロンプト・テンプレートのデプロイ

これで、デプロイメント・スペース内からプロンプト・テンプレートのオンライン・デプロイメントを作成できるようになりました。 デプロイメントを作成するには、以下の手順を実行します。

  1. デプロイメント・スペースの 「保険金請求の要約 (Insurance claims summarization)」 資産ページで、 「新規デプロイメント (New deployment)」を選択します。

  2. デプロイメント名として、以下のテキストをコピーして貼り付けます。

    Insurance claims summarization deployment
    
  3. 「作成」 をクリックします。

チェックポイント・アイコン 進行状況を確認してください

以下のイメージは、デプロイされたプロンプト・テンプレートを示しています。

デプロイ済みプロンプト・テンプレート

タスク 7c: デプロイされたプロンプト・テンプレートの表示

ライフサイクルの現在のフェーズでデプロイ済みプロンプト・テンプレートを表示するには、以下の手順を実行します。

  1. 準備ができたらデプロイメントを表示します。 「API リファレンス」 タブには、アプリケーションでプロンプト・テンプレート・デプロイメントを使用するための情報が表示されます。
  2. 「テスト」 タブをクリックします。 「テスト」 タブでは、デプロイメントをテストするための指示と入力を送信できます。
  3. 「生成」をクリックします。 結果ウィンドウを閉じます。
  4. 「AI Factsheet」 タブをクリックします。 「AI Factsheet」 には、プロンプト・テンプレートが現在操作フェーズにあることが示されています。
  5. 「AI Factsheet」 ページの下部までスクロールダウンし、矢印をクリックして詳細を表示します。
  6. 「評価」>「操作」>「デプロイメント 1」ページを選択します。
  7. ファセット・シートの上部にある 「詳細の表示」 アイコン 詳細の表示 をクリックして、AI ユース・ケースを開きます。
  8. 「ライフサイクル」 タブをクリックします。
  9. 「Operate」 フェーズで 「Insurance claim summarization」 プロンプト・テンプレートをクリックします。 完了したら、 「キャンセル」をクリックします。
  10. 「Operate」 フェーズで 「Insurance claims summarization deployment」 プロンプト・テンプレート・デプロイメントをクリックします。

チェックポイント・アイコン 進行状況を確認してください

以下のイメージは、ライフサイクルの Operate フェーズにおけるプロンプト・テンプレートのプロンプト・テンプレートを示しています。

操作フェーズでのプロンプト・テンプレート




次のステップ

以下の他のチュートリアルのいずれかを試してください。

その他のリソース

  • 詳しくは、 ビデオを参照してください。

  • リソース・ハブでサンプル・データ・セット、プロジェクト、モデル、プロンプト、およびノートブックを検索して、実地体験を得ることができます。

    データの分析およびモデルの作成を開始するためにプロジェクトに追加できる ノートブック ノートブック

    プロジェクト プロジェクト ノートブック、データ・セット、プロンプト、およびその他の資産を含むものをインポートできます。

    データ・セット データ・セット 。これをプロジェクトに追加して、モデルの洗練、分析、およびビルドを行うことができます。

    プロンプト プロンプト 。プロンプト・ラボで基盤モデルのプロンプトを出すために使用できます。

    プロンプト・ラボで使用できる モデル 基盤モデル

親トピック: クイック・スタート・チュートリアル

生成 AI の検索と回答
これらの回答は、製品資料の内容に基づいて、 watsonx.ai のラージ言語モデルによって生成されます。 詳細