0 / 0
資料の 英語版 に戻る
クイック・スタート: プロンプト・テンプレートの評価と追跡

クイック・スタート: プロンプト・テンプレートの評価と追跡

このチュートリアルでは、プロンプト・テンプレートを評価および追跡する方法について学習します。 プロジェクトまたはデプロイメント・スペース内のプロンプト・テンプレートを評価して、ファウンデーション・モデル・タスクのパフォーマンスを測定し、モデルがどのように応答を生成するかを理解することができます。 その後、AI ユース・ケースでプロンプト・テンプレートを追跡して、資産に関する事実を収集して共有することで、ガバナンスとコンプライアンスの目標を達成することができます。

必須のサービス
watsonx.governance

基本的なワークフローには、以下のタスクが含まれます:

  1. 評価するプロンプト・テンプレートを含むプロジェクトを開きます。 プロジェクトは、資産を処理するために他のユーザーとコラボレーションできる場所です。
  2. テスト・データを使用してプロンプト・テンプレートを評価します。
  3. AI Factsheet で結果を確認します。
  4. AI ユース・ケースで評価されたプロンプト・テンプレートを追跡します。
  5. 評価済みプロンプト・テンプレートをデプロイしてテストします。

プロンプト・テンプレートについて読む

watsonx.governanceを使用すると、プロジェクト内のプロンプト・テンプレートを評価して、基盤モデルが以下のタスク・タイプに対してどの程度効果的に応答を生成するかを測定できます。

  • 分類
  • 要約
  • 生成
  • 質問への回答
  • エンティティー抽出

プロジェクト内のプロンプト・テンプレートの評価についての詳細

デプロイメント・スペースでのプロンプト・テンプレートの評価についての詳細

プロンプト・テンプレートの評価と追跡に関するビデオを見る

< このチュートリアルのステップをプレビューするには、このビデオをご覧ください。 ビデオに表示されるユーザー・インターフェースには若干の違いがある可能性があります。 このビデオは、作成されたチュートリアルのコンパニオンとなることを目的としています。

このビデオは、この資料の概念とタスクを学習するための視覚的な方法を提供します。

プロンプト・テンプレートを評価および追跡するためのチュートリアルを試す

このチュートリアルでは、以下のタスクを実行します:




  • ビデオ・ピクチャー・イン・ピクチャーの使用

    ヒント: ビデオを開始してから、チュートリアルをスクロールすると、ビデオはピクチャー・イン・ピクチャー・モードに移動します。 ピクチャー・イン・ピクチャーを最適に使用するために、ビデオの目次を閉じます。 ピクチャー・イン・ピクチャー・モードを使用すると、このチュートリアルのタスクを実行する際にビデオに従うことができます。 追跡する各タスクのタイム・スタンプをクリックします。

    以下のアニメーション・イメージは、ビデオ・ピクチャー・イン・ピクチャーおよび目次機能の使用方法を示しています。

    ピクチャー・イン・ピクチャーおよび章の使用方法

    コミュニティーでのヘルプの利用

    このチュートリアルでヘルプが必要な場合は、 Cloud Pak for Data コミュニティー・ディスカッション・フォーラムで質問したり、回答を見つけたりすることができます。

    ブラウザー・ウィンドウのセットアップ

    このチュートリアルを最適に実行するには、1 つのブラウザー・ウィンドウで Cloud Pak for Data を開き、このチュートリアル・ページを別のブラウザー・ウィンドウで開いたままにして、2 つのアプリケーションを簡単に切り替えることができます。 2 つのブラウザー・ウィンドウを横並びに配置して、見やすくすることを検討してください。

    横並びのチュートリアルと UI

    ヒント: ユーザー・インターフェースでこのチュートリアルを実行中にガイド付きツアーが表示された場合は、 「後で実行することもあります」をクリックします。

    先頭に戻る


  • チュートリアル・ビデオのプレビュー このタスクをプレビューするには、 00:08から始まるビデオをご覧ください。

    プロンプト・テンプレートと評価を保管するには、プロジェクトが必要です。 サンプルに基づいてプロジェクトを作成するには、以下の手順を実行します。

    1. リソース・ハブの watsonx ガバナンス入門 プロジェクトにアクセスします。

      1. 「プロジェクトの作成」をクリックします。

      2. プロジェクト名のデフォルト値を受け入れて、 「作成」をクリックします。

      3. プロジェクトが正常に作成されたら、 「新規プロジェクトの表示」 をクリックします。

    2. Watson Machine Learning サービスをプロジェクトに関連付けます。

      1. プロジェクトが開いたら、 「管理」 タブをクリックし、 「サービスと統合」 ページを選択します。

      2. IBM サービス」 タブで、 「サービスの関連付け」をクリックします。

      3. Watson Machine Learning インスタンスを選択します。 Watson Machine Learning サービス・インスタンスがまだプロビジョンされていない場合は、以下の手順を実行します。

        1. 「新規サービス」をクリックします。

        2. Watson Machine Learningを選択します。

        3. 「作成」 をクリックします。

        4. リストから新規サービス・インスタンスを選択します。

      4. 「サービスの関連付け」をクリックします。

      5. 必要に応じて、 「キャンセル」 をクリックして 「サービス」&「統合」 ページに戻ります。

    3. プロジェクトの 「アセット」 タブをクリックして、サンプル・アセットを表示します。

    詳しくは、またはビデオを視聴するには、 プロジェクトの作成を参照してください。

    関連付けられたサービスについて詳しくは、 関連付けられたサービスの追加を参照してください。

    チェックポイント・アイコン 進行状況を確認してください

    以下のイメージは、プロジェクトの「資産」タブを示しています。 これで、プロジェクト内のサンプル・プロンプト・テンプレートを評価する準備ができました。

    サンプル・プロジェクト資産


    先頭に戻る


  • チュートリアル・ビデオのプレビュー このタスクをプレビューするには、 00:36から始まるビデオをご覧ください。

    サンプル・プロジェクトには、テスト・データとして使用されるいくつかのプロンプト・テンプレートと CSV ファイルが含まれています。 以下のステップに従って、テスト・データをダウンロードし、いずれかのサンプル・プロンプト・テンプレートを評価します。

    1. サンプル・プロジェクトからテスト・データをダウンロードします。

      1. 「資産」タブをクリックします。
      2. Insurance claim summarization test data.csv ファイルで、 「オーバーフロー」 メニュー オーバーフロー・メニューをクリックし、 「ダウンロード」を選択します。
      3. CSV ファイルをローカルに保存します。
    2. 「保険請求の要約」 をクリックして Prompt Labでプロンプト・テンプレートを開き、 「編集」をクリックします。

    3. 「プロンプト変数」 アイコン プロンプト変数をクリックします。

      注: 評価を実行するには、少なくとも 1 つのプロンプト変数を作成する必要があります。
    4. 「Try」 セクションまでスクロールします。 「入力」 フィールドの {input} 変数に注目してください。 プロンプトをテストするには、プロンプト変数を入力として含める必要があります。 プロンプト変数は、作成時にプロンプトの静的テキストに組み込み、実行時に動的にテキストで置換するプレースホルダー・キーワードです。

    5. 「評価」 「評価」アイコン アイコンをクリックします。

    6. 「一般的な AI 品質」 セクションを展開して、ディメンションのリストを表示します。 使用可能なメトリックは、プロンプトのタスク・タイプによって異なります。 例えば、要約には分類とは異なるメトリックがあります。

    7. 次へ をクリックします。

    8. テスト・データの選択:

      1. 「参照」をクリックします。
      2. Insurance claim summarization test data.csv ファイルを選択します。
      3. 「開く」をクリックします。
      4. 「入力」列で、 「insurance_Claim」を選択します。
      5. 「参照出力列」で、 「要約」を選択します。
      6. 次へ をクリックします。
    9. 「評価」をクリックします。 評価が完了すると、 「評価」 タブにテスト結果が表示されます。

    10. 「AI Factsheet」 タブをクリックします。

      1. タブの各セクションに関する情報を表示します。
      2. 「評価」>「開発」>「テスト」 をクリックして、テスト結果を再度表示します。

    チェックポイント・アイコン 進行状況を確認してください

    以下のイメージは、評価の結果を示しています。 これで、AI ユース・ケースでプロンプト・テンプレートのトラッキングを開始できるようになりました。

    プロンプト・テンプレートの評価テスト結果


    先頭に戻る


  • チュートリアル・ビデオのプレビュー このタスクをプレビューするには、 01:54から始まるビデオをご覧ください。

    AI ユース・ケースを保管および検討するためにモデル・インベントリーを使用します。 AI ユース・ケースは、組織が追跡する AI 資産のガバナンス・ファクトを収集します。 インベントリー内のすべての AI ユース・ケースを表示できます。 モデル・インベントリーおよび AI ユース・ケースを作成するには、以下の手順に従います。

    モデル・インベントリーの作成

    1. ナビゲーション・メニュー ナビゲーション・メニューから、 「AI ガバナンス」>「AI ユース・ケース」を選択します。

    2. インベントリーの管理:

      1. 「新規インベントリー」をクリックします。

      2. 名前として、以下のテキストをコピー・アンド・ペーストします。

        Golden Bank Insurance Inventory
        
      3. 説明については、以下のテキストをコピー・アンド・ペーストしてください。

        Model inventory for insurance related processing
        
      4. 「作成後にコラボレーターを追加」 オプションをクリアします。

      5. リストから Cloud Object Storage インスタンスを選択します。

      6. 「作成」 をクリックします。

    3. 「インベントリーの管理」 ページを閉じます。

    チェックポイント・アイコン 進行状況を確認してください

    次の図は、モデル・インベントリーを示しています。 これで、AI ユース・ケースを作成する準備ができました。

    モデル・インベントリー

    AI ユース・ケースの作成

    1. 「新規 AI ユース・ケース」をクリックします。

    2. 「名前」に、以下のテキストをコピーして貼り付けます。

      Insurance claims processing AI use case
      
    3. 既存のモデル・インベントリーを選択します。

    4. 「作成」 をクリックして、残りのフィールドのデフォルト値を受け入れます。

    チェックポイント・アイコン 進行状況を確認してください

    以下の図は、AI のユース・ケースを示しています。 これで、プロンプト・テンプレートを追跡する準備ができました。

    AIユース・ケース


    先頭に戻る


  • チュートリアル・ビデオのプレビュー このタスクをプレビューするには、 02:33から始まるビデオをご覧ください。

    AI ユース・ケースでプロンプト・テンプレートを追跡して、開発とテストのプロセスを同僚に報告することができます。 プロンプト・テンプレートのトラッキングを開始するには、以下の手順を実行します。

    1. ナビゲーション・メニュー ナビゲーション・メニューで、 「プロジェクト」>「すべてのプロジェクトを表示」を選択します。
    2. 「 watsonx ガバナンス入門」 プロジェクトを選択します。
    3. 「資産」タブをクリックします。
    4. 「保険請求の要約 (Insurance claim summarization)」 プロンプト・テンプレートの 「オーバーフロー」 メニュー オーバーフロー・メニュー から、 「AI Factsheet の表示 (View AI Factsheet)」を選択します。
    5. 「AI Factsheet」 タブで、 「ガバナンス」 ページをクリックします。
    6. 「AI ユース・ケースの追跡」をクリックします。
    7. 「Insurance claims processing AI use case」を選択します。
    8. 次へ をクリックします。
    9. アプローチを選択します。
    10. 次へ をクリックします。
    11. モデル・バージョンとして 「Experimental」を選択します。
    12. バージョン番号のデフォルト値を受け入れます。
    13. 次へ をクリックします。
    14. 情報を確認し、 「資産の追跡 (Track asset)」をクリックします。
    15. モデル・トラッキングが正常に開始されたら、 「詳細の表示」 アイコン 「詳細の表示」アイコン をクリックして AI ユース・ケースを開きます。
    16. 「ライフサイクル」 タブをクリックして、 「開発」 フェーズでプロンプト・テンプレートを表示します。

    チェックポイント・アイコン 進行状況を確認してください

    以下のイメージは、「開発」フェーズでプロンプト・テンプレートを使用する AI ユース・ケースの「ライフサイクル」タブを示しています。 これで、Validate フェーズに進む準備ができました。

    AI ユース・ケースの「ライフサイクル」タブ


    先頭に戻る


  • チュートリアル・ビデオのプレビュー このタスクをプレビューするには、 03:22から始まるビデオをご覧ください。

    通常、プロンプト・エンジニアはテスト・データを使用してプロンプトを評価し、検証エンジニアはプロンプトを検証します。 検証エンジニアは、プロンプト・エンジニアが持っていない可能性がある検証データにアクセスできます。 この場合、検証データは別のプロジェクトで発生します。 以下のステップに従って、開発プロジェクトをエクスポートし、それを新しい検証プロジェクトとしてインポートして、資産を AI ライフサイクルの検証フェーズに移動します。

    1. ナビゲーション・メニュー ナビゲーション・メニューで、 「プロジェクト」>「すべてのプロジェクトを表示」を選択します。

    2. 「 watsonx ガバナンス入門」 プロジェクトを選択します。

    3. 「インポート/エクスポート」 アイコン インポート/エクスポート・アイコン > 「プロジェクトのエクスポート」をクリックします。

    4. すべての資産を選択するにはボックスにチェック・マークを付けます。

    5. 「エクスポート」をクリックします。

    6. プロジェクト名として、以下のテキストをコピーして貼り付け、 「保存」をクリックします。

      validation project.zip
      
    7. プロジェクトのエクスポートが完了したら、 「プロジェクトに戻る」をクリックします。

    8. ナビゲーション・メニュー ナビゲーション・メニューで、 「プロジェクト」>「すべてのプロジェクトを表示」を選択します。

    9. 新規プロジェクトをクリックしてください。

      1. 「ファイルのサンプルからプロジェクトを作成」を選択します。

      2. 「参照」をクリックします。

      3. validation project.zipを選択し、 「開く」をクリックします。

      4. プロジェクト名として、以下のテキストをコピーして貼り付けます。

        Validation project
        
      5. 「作成」 をクリックします。

    10. プロジェクトが作成されたら、 「新規プロジェクトの表示」.1 をクリックします。 ステップ 1 と同じステップに従って、 Watson Machine Learning サービスをこのプロジェクトに関連付けます。

    チェックポイント・アイコン 進行状況を確認してください

    以下のイメージは、検証プロジェクトの「資産」タブを示しています。 これで、検証プロジェクトでサンプル・プロンプト・テンプレートを評価する準備ができました。

    検証プロジェクト資産


    先頭に戻る


  • チュートリアル・ビデオのプレビュー このタスクをプレビューするには、 04:18から始まるビデオをご覧ください。

    これで、以前と同じ評価プロセスを使用して、この検証プロジェクトのプロンプト・テンプレートを評価する準備ができました。 評価に同じテスト・データ・セットを使用します。 また、以前と同じ「入力」列と「出力」列を選択します。 プロンプト・テンプレートを検証するには、以下の手順を実行します。

    1. 「検証プロジェクト」「資産」 タブをクリックします。
    2. タスク 2 のステップを繰り返して、 「Claims processing summarization」 プロンプト・テンプレートを評価します。
    3. 評価が完了したら、 「AI Factsheet」 タブをクリックします。
    4. 両方のテスト結果のセットを表示します。
      1. 「評価」>「開発」>「テスト」をクリックします。
      2. 「評価」>「検証」>「テスト」をクリックします。

    チェックポイント・アイコン 進行状況を確認してください

    以下のイメージは、検証テストの結果を示しています。 これで、プロンプト・テンプレートをデプロイメント・スペースにプロモートしてから、プロンプト・テンプレートをデプロイする準備ができました。

    プロンプト・テンプレートの評価テスト結果


    先頭に戻る


  • チュートリアル・ビデオのプレビュー このタスクをプレビューするには、 05:00に始まるビデオをご覧ください。

    プロンプト・テンプレートをデプロイメント・スペースにプロモートします

    プロンプト・テンプレートをデプロイするための準備として、そのプロンプト・テンプレートをデプロイメント・スペースにプロモートします。 プロンプト・テンプレートにプロンプトを出すには、以下の手順を実行します。

    1. プロジェクトのナビゲーション・トレールで 「検証プロジェクト」 をクリックします。
    2. 「Insurance claim summarization」 プロンプト・テンプレートの 「Overflow」 メニュー オーバーフロー・メニュー から、 「Promote to space」を選択します。
    3. ターゲット・スペースの場合は、 新規デプロイメント・スペースの作成を選択してください。
      1. 「スペース名」に、以下のテキストをコピーして貼り付けます。

        Insurance claims deployment space
        
      2. 「デプロイメント・ステージ」で、 「実稼働」を選択します。

        重要: デプロイメントを Evaluate ステージから Operate ステージに移動する場合は、デプロイメント・ステージに「実動」を選択する必要があります。
      3. リストから機械学習サービスを選択します。

      4. 「作成」 をクリックします。

      5. 「閉じる」をクリックします。

    4. リストから 「Insurance claims deployment space」 デプロイメント・スペースを選択します。
    5. 「プロンプト・テンプレートのプロモート後にスペースに移動」のオプションにチェック・マークを付けます。
    6. プロモートをクリックします。

    チェックポイント・アイコン 進行状況を確認してください

    以下のイメージは、デプロイメント・スペース内のプロンプト・テンプレートを示しています。 これで、デプロイメントを作成する準備ができました。

    デプロイメント・スペース内のプロンプト・テンプレート

    プロンプト・テンプレートのデプロイ

    これで、デプロイメント・スペース内からプロンプト・テンプレートのオンライン・デプロイメントを作成できるようになりました。 デプロイメントを作成するには、以下の手順を実行します。

    1. デプロイメント・スペースの 「保険金請求の要約 (Insurance claims summarization)」 資産ページで、 「新規デプロイメント (New deployment)」を選択します。

    2. デプロイメント名として、以下のテキストをコピーして貼り付けます。

      Insurance claims summarization deployment
      
    3. 「作成」 をクリックします。

    チェックポイント・アイコン 進行状況を確認してください

    以下のイメージは、デプロイされたプロンプト・テンプレートを示しています。

    デプロイ済みプロンプト・テンプレート

    デプロイされたプロンプト・テンプレートの表示

    ライフサイクルの現在のフェーズでデプロイ済みプロンプト・テンプレートを表示するには、以下の手順を実行します。

    1. 準備ができたらデプロイメントを表示します。 「API リファレンス」 タブには、アプリケーションでプロンプト・テンプレート・デプロイメントを使用するための情報が表示されます。
    2. 「テスト」 タブをクリックします。 「テスト」 タブでは、デプロイメントをテストするための指示と入力を送信できます。
    3. 「生成」をクリックします。 結果ウィンドウを閉じます。
    4. 「AI Factsheet」 タブをクリックします。 「AI Factsheet」 には、プロンプト・テンプレートが現在操作フェーズにあることが示されています。
    5. 「AI Factsheet」 ページの下部までスクロールダウンし、矢印をクリックして詳細を表示します。
    6. 「評価」>「操作」>「デプロイメント 1」ページを選択します。
    7. ファセット・シートの上部にある 「詳細の表示」 アイコン 「詳細の表示」アイコン をクリックして、AI ユース・ケースを開きます。
    8. 「ライフサイクル」 タブをクリックします。
    9. 「Operate」 フェーズで 「Insurance claim summarization」 プロンプト・テンプレートをクリックします。 完了したら、 「キャンセル」をクリックします。
    10. 「Operate」 フェーズで 「Insurance claims summarization deployment」 プロンプト・テンプレート・デプロイメントをクリックします。

    チェックポイント・アイコン 進行状況を確認してください

    以下のイメージは、ライフサイクルの Operate フェーズにおけるプロンプト・テンプレートのプロンプト・テンプレートを示しています。

    操作フェーズでのプロンプト・テンプレート


    先頭に戻る

次のステップ

以下の他のチュートリアルのいずれかを試してください。

その他のリソース

  • 詳しくは、 ビデオを参照してください。

  • リソース・ハブでサンプル・データ・セット、プロジェクト、モデル、プロンプト、およびノートブックを検索して、実地体験を得ることができます。

    データの分析およびモデルの作成を開始するためにプロジェクトに追加できる ノートブック・アイコン ノートブック

    プロジェクト・アイコン プロジェクト ノートブック、データ・セット、プロンプト、およびその他の資産を含むものをインポートできます。

    データ・セット・アイコン データ・セット 。これをプロジェクトに追加して、モデルの洗練、分析、およびビルドを行うことができます。

    プロンプト・アイコン プロンプト 。プロンプト・ラボで基盤モデルのプロンプトを出すために使用できます。

    プロンプト・ラボで使用できる モデル・アイコン 基盤モデル

親トピック: クイック・スタート・チュートリアル

生成 AI の検索と回答
これらの回答は、製品資料の内容に基づいて、 watsonx.ai のラージ言語モデルによって生成されます。 詳細