0 / 0
資料の 英語版 に戻る

クイックスタートプロンプト・テンプレートの評価と追跡

最終更新: 2025年3月11日
クイックスタートプロンプト・テンプレートの評価と追跡

このチュートリアルでは、プロンプトテンプレートの評価とトラッキングの方法を学びます。 プロジェクトまたはデプロイメント・スペース内のプロンプト・テンプレートを評価して、基盤モデル・タスクのパフォーマンスを測定し、モデルがどのように応答を生成するかを理解することができます。 そして、AIユースケースでプロンプト・テンプレートを追跡し、資産に関する事実を把握・共有することで、ガバナンスとコンプライアンスの目標達成に役立てることができる。

必須のサービス
watsonx.governance
watsonx.ai
watsonx.ai ランタイム
Cloud Object Storage

基本的なワークフローには、以下のタスクが含まれます：

  1. 評価するプロンプトテンプレートを含むプロジェクトを開く。 プロジェクトは、他の人と協力してアセットを扱う場所です。
  2. テストデータを使用してプロンプトテンプレートを評価する。
  3. AIファクトシートで結果を確認する。
  4. AIユースケースで評価されたプロンプトテンプレートを追跡する。
  5. 評価済みのプロンプトテンプレートをデプロイしてテストします。

プロンプト・テンプレートについて読む

watsonx.governance を使用すると、プロジェクトのプロンプト テンプレートを評価し、以下のタスク タイプに対して基礎モデルがどの程度効果的に応答を生成しているかを測定できます：

  • 機密区分
  • 要約
  • 生成
  • 質問への回答
  • エンティティー抽出

プロジェクトにおけるプロンプト・テンプレートの評価についての詳細はこちら

デプロイメント・スペースにおけるプロンプト・テンプレートの評価についての詳細はこちら

プロンプト・テンプレートの評価と追跡に関するビデオを見る

< このチュートリアルのステップをプレビューするには、このビデオをご覧ください。 ビデオで紹介されているユーザー・インターフェースには若干の違いがあるかもしれません。 このビデオは、書面でのチュートリアルに付随するものです。

このビデオは、このドキュメントのコンセプトとタスクを学ぶための視覚的な方法を提供します。


プロンプト・テンプレートの評価と追跡に関するチュートリアルをお試しください

このチュートリアルでは、以下のタスクを実行します：




このチュートリアルを完了するためのヒント
このチュートリアルを成功させるためのヒントを紹介します。

ビデオのピクチャー・イン・ピクチャーを使う

ヒント：ビデオを開始し、チュートリアルをスクロールすると、ビデオはピクチャ・イン・ピクチャ・モードに移行します。 ピクチャー・イン・ピクチャーで最高の体験をするために、ビデオの目次を閉じてください。 ピクチャ・イン・ピクチャ・モードを使用すると、このチュートリアルのタスクを完了しながらビデオを追うことができます。 各タスクのタイムスタンプをクリックしてください。

次のアニメーション画像は、ビデオのピクチャー・イン・ピクチャーと目次機能の使い方を示しています：

ピクチャー・イン・ピクチャーとチャプターの使い方

地域の助けを借りる

このチュートリアルで助けが必要な場合は、watsonxコミュニティーのディスカッション・フォーラムで質問したり、答えを見つけることができます。

ブラウザのウィンドウを設定する

このチュートリアルを最適に完了するには、Cloud Pak for Data を 1 つのブラウザ ウィンドウで開き、このチュートリアルのページを別のブラウザ ウィンドウで開いておくと、2 つのアプリケーションを簡単に切り替えることができます。 2つのブラウザウィンドウを横に並べると、より見やすくなります。

サイド・バイ・サイドのチュートリアルとUI

ヒント： このチュートリアルを完了する際に、ユーザーインターフェイスでガイドツアーが表示された場合は、後でをクリックしてください。

タスク1：ワークスペースを作成する

このチュートリアルを完了するには、3つのワークスペースが必要です：

  • 開発フェーズ ：開発、評価、追跡資産を保存する開発プロジェクト。
  • 検証フェーズ ：検証準備が整った資産を保存する検証プロジェクト。
  • 運用フェーズ ：検証済みの資産およびデプロイメントを保存し、 デプロイメントスペース。

タスク 1a: サンプルに基づいて開発プロジェクトを作成する

プレビュー・チュートリアル・ビデオ このタスクのプレビューを見るには、 00:11 から始まるビデオをご覧ください。

リソース ハブには、評価および追跡できるサンプル プロンプト テンプレートを含む、 watsonx.governance の使用開始サンプル プロジェクトが含まれています。

注： サンプルプロジェクトを作成済みの場合、**「 watsonx.ai ランタイムをプロジェクトに関連付ける」**セクションに進んでください。

サンプル・プロジェクトを作成する

サンプルを基に開発プロジェクトを作成するには、以下の手順に従います

  1. ホーム画面から、 新規プロジェクト作成アイコン 新規プロジェクトの作成 をクリックします。

  2. サンプルを選択します。

  3. Getting started with watsonx.governance を検索し、そのサンプルプロジェクトを選択して、 [次へ] をクリックします。

  4. 既存の オブジェクト・ストレージ・サービス・インスタンス を選択するか、または新規作成します。

  5. 「作成」 をクリックします。

  6. プロジェクトのインポートが完了したら、「新しいプロジェクトを表示」 をクリックします。

詳細またはビデオについては、プロジェクトの作成をご覧ください。

watsonx.ai ランタイムをプロジェクトに関連付ける

watsonx.ai ランタイムサービスをサンプルプロジェクトに関連付けるには、以下の手順に従います

  1. プロジェクトが開いたら、管理タブをクリックし、サービスと統合ページを選択します。

  2. IBM servicesタブで、Associateサービスをクリックします。

  3. watsonx.aiランタイムインスタンスを選択します。 watsonx.aiRuntime サービスインスタンスがまだプロビジョニングされていない場合は、以下の手順に従ってください：

    1. 新規サービスをクリックします。

    2. watsonx.aiランタイムを選択します。

    3. 「作成」 をクリックします。

    4. リストから新しいサービス・インスタンスを選択する。

  4. サービスを関連付けるをクリックします。

  5. 必要に応じて、キャンセルをクリックし、サービス & 統合ページに戻ります。

  6. プロジェクトのアセットタブをクリックすると、サンプルアセットが表示されます。

関連サービスの詳細については、関連サービスの追加を参照してください。

watsonx.ai ランタイムサービスの詳細については、 watsonx.ai ランタイムをご覧ください。

チェックポイント・アイコン 進捗状況を確認する

次の図は、開発プロジェクトの「資産」タブを示しています。 これで、インベントリーとAIのユースケースを作成する準備ができた。

サンプル・プロジェクト資産

タスク 1b: 検証プロジェクトを作成する

プレビュー・チュートリアル・ビデオ このタスクのプレビューを見るには、 00:44 から始まるビデオをご覧ください。

通常、プロンプト・エンジニアがテストデータを使ってプロンプトを評価し、バリデーション・エンジニアがプロンプトを検証する。 バリデーション・エンジニアは、プロンプト・エンジニアにはないバリデーション・データにアクセスできる。 この場合、検証データは別のプロジェクトで発生する。 以下の手順に従って、空のプロジェクトを作成してください。 その後、開発プロジェクトから検証プロジェクトにアセットをインポートします。

  1. ナビゲーションメニューの ナビゲーション・メニュー から、「プロジェクト」>「すべてのプロジェクトを表示」 を選択します。
  2. 「プロジェクト」ページで、「新しいプロジェクト」をクリックします。
  3. プロジェクト名にはValidation project と入力する
  4. 「作成」 をクリックします。
  5. タスク1aと同じ手順に従って、watsonx.aiランタイムサービスを検証プロジェクトに関連付けます。
  6. 資産タブをクリックすると、空のプロジェクトが表示されます。

チェックポイント・アイコン 進捗状況を確認する



以下の画像は空の検証プロジェクトです

検証プロジェクト

タスク 1c: 配備スペースを作成する

プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 1:16 から始まるビデオをご覧ください。

後でプロンプト テンプレートをその配置スペースに昇格できるように、今すぐ配置スペースを作成する必要があります。 以下の手順に従って、配置スペースを作成します：

  1. ナビゲーションメニュー ナビゲーション・メニュー から、 デプロイメント を選択します。

  2. 新規デプロイメント・スペースをクリックしてください。

  3. スペース名には、以下のテキストをコピー＆ペーストする：Insurance claims deployment space

  4. デプロイメント・ステージでは、プロダクションを選択します。

    重要 デプロイメント ステージで、プロダクションを選択する必要があります。評価ステージから運用ステージにデプロイメントを移動したい場合。

  5. リストから機械学習サービスを選択する。

  6. 「作成」 をクリックします。

  7. スペースが作成されたら、新しいスペースを見るをクリックします。

チェックポイント・アイコン 進捗状況を確認する



以下の画像は展開スペースを示している

デプロイメント・スペース

タスク2：インベントリーとAIユースケースの作成

インベントリーは、AIのユースケースを保存し、レビューするためのものだ。 AIユースケースは、組織が追跡しているAI資産のガバナンス情報を収集する。 すべてのAIユースケースをインベントリで見ることができる。 インベントリを作成するには、Platform assets catalogが必要です。 前提条件の完了」のセクションを参照してください。

タスク 2a: インベントリーの作成

プレビュー・チュートリアル・ビデオ このタスクのプレビューを見るには、 1:45 から始まるビデオをご覧ください。

インベントリーを作成するには、以下の手順に従ってください：

  1. ナビゲーションメニューの ナビゲーション・メニュー から、 AIガバナンス > 在庫を選択します。 既存の在庫がある場合は、その在庫を使用するために 「新しいAIユースケースを作成する」に進んでください。それ以外の場合は、このタスクを続けて、在庫を作成してください。

  2. 指示が出たら、「セットアップを完了」 をクリックします。 デフォルトの在庫を設定していない場合は、このオプションが表示されます。 デフォルトのインベントリを作成するウィンドウで、 Cloud Object Storage インスタンスを選択し、Create をクリックします。

  3. インベントリページで、新しいインベントリをクリックします。

  4. 名前は、以下のテキストをコピー＆ペーストしてください：Golden Bank Insurance Inventory

  5. 説明文は、以下のテキストをコピー＆ペーストしてください：Inventory for insurance related claims processing

  6. 作成後に共同作業者を追加オプションをクリアします。 インベントリーとAIユースケースレベルでアクセスを制限することができます。

  7. リストからCloud Object Storageインスタンスを選択します。

  8. 「作成」 をクリックします。

チェックポイント・アイコン 進捗状況を確認する

以下の画像は在庫を示す。 これで、AIのユースケースを作成する準備ができた。

インベントリー

タスク 2b: AIのユースケースを作成する

プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 02:08から始まるビデオをご覧ください。

AIのユースケースとは、AIの助けを借りて解決できるビジネス上の問題を定義したものです。 通常、これらはAI資産が開発される前に定義される。 以下の手順に従って、AIのユースケースを作成してください：

  1. ナビゲーションメニューの ナビゲーション・メニュー から、 AIガバナンス > AIユースケースを選択します。
  2. 新しいAIユースケースをクリックします。
  3. 名前には、以下のテキストをコピー＆ペーストする：Insurance claims processing AI use case
  4. ゴールデンバンク保険在庫またはその他の既存在庫を選択します。
  5. 作成をクリックして、残りのフィールドのデフォルト値を受け入れます。
  6. AIのユースケースを初めて使用する場合は、機能を設定するよう促されます。 「開始」 をクリックし、「AIユースケースへ」 をクリックします。

チェックポイント・アイコン 進捗状況を確認する



以下の画像はAIの使用例を示している

AIユースケース

タスク 2c: ワークスペースとユースケースを関連づける

プレビュー・チュートリアル・ビデオ このタスクのプレビューを見るには、 2分29秒から始まるビデオをご覧ください。

以下の手順に従って、ワークスペースをこのユースケースに関連付けます：

注意: AIユースケースの中から新しいプロジェクトとデプロイメントスペースを作成できます。
  1. 関連ワークスペースセクションまでスクロールします。
  2. 開発フェーズの下にある 「ワークスペースの関連付け」 をクリックします。
    1. Getting started with watsonx.governance プロジェクトを選択します。
    2. 保存 をクリックします。
  3. 検証フェーズで、「ワークスペースの関連付け」 をクリックします。
    1. 検証プロジェクトを選択します。
    2. 保存 をクリックします。
  4. 「運用」フェーズで、「ワークスペースの関連付け」 をクリックします。
    1. 保険金請求展開スペースを選択してください。
    2. 保存 をクリックします。

チェックポイント・アイコン 進捗状況を確認する

次の画像は、AI のユースケースと、関連するすべてのワークスペースを示しています。

AIユースケース

タスク3：サンプルプロンプトテンプレートを評価する

サンプルプロジェクトには、いくつかのプロンプトテンプレートとテストデータとして使用されるCSVファイルが含まれています。 以下のタスクを完了し、サンプルプロンプトテンプレートのいずれかを評価します。

タスク 3a: Prompt Labでサンプルのプロンプトテンプレートを編集する

プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 3:02 から始まるビデオをご覧ください。

以下の手順に従って、プロンプトテンプレートを表示し、その構成を確認してください：

  1. ナビゲーションメニューの ナビゲーション・メニュー から、「プロジェクト」>「すべてのプロジェクトを表示」 を選択します。

  2. Getting started with watsonx.governance プロジェクトを選択します。

  3. 「資産」タブをクリックします。

  4. 保険金請求の要約をクリックして、 Prompt Labのプロンプト・テンプレートを開き、 編集をクリックする。

  5. プロンプト変数アイコン プロンプト変数 をクリックします。

    注意: 評価を実行するには、少なくとも1つのプロンプト変数を作成する必要があります。

  6. 試すセクションまでスクロールする。 Inputフィールドの{input}変数に注目してください。 プロンプトをテストするには、prompt変数を入力として含める必要がある。 プロンプト変数とは、作成時にプロンプトの静的テキストに含め、実行時に動的にテキストに置き換えるプレースホルダーキーワードのことである。

チェックポイント・アイコン 進捗状況を確認する

次の画像はPrompt Labです。

次の画像はPrompt Labです。

タスク 3b: プロンプト・テンプレートの評価

プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 3:24 から始まるビデオをご覧ください。

これでプロンプト・テンプレートを評価する準備ができた。

  1. 評価アイコン 評価 をクリックします。
  2. Generative AI Quality（生成AI品質） と Model Health（モデルの健全性） セクションを展開すると、ディメンションのリストが表示されます。 利用可能なメトリクスは、プロンプトのタスク・タイプによって異なります。 例えば、要約は分類とは異なる測定基準を持つ。
  3. 次へ をクリックします。
  4. テストデータを選択します：
    1. プロジェクトから選択をクリックします。
    2. Project file > Insurance claim summarization test data.csv を選択する。
    3. 「選択」をクリックします。
    4. 入力欄では、保険金請求を選択する。
    5. 参照出力列では、要約を選択する。
    6. 次へ をクリックします。
  5. 評価をクリックします。 評価は数分で完了します。 評価が完了すると、評価タブにテスト結果が表示されます。 このページには、この評価実行に関する詳細情報が表示されるため、モデルのパフォーマンスに関する洞察を得ることができます。 サマリーには、プロンプトテンプレート評価のメトリックスコアおよびデフォルトスコアのしきい値違反の概要が表示されます。
  6. AIファクトシートタブをクリックします。
    1. タブの各セクションの情報を見る。
    2. Development > Getting started with watsonx.governance > Test results をクリックすると、テスト結果が再度表示されます。

チェックポイント・アイコン 進捗状況を確認する

以下の画像は、その評価結果である。 これで、AIのユースケースでプロンプト・テンプレートの追跡を開始できるようになった。

プロンプト・テンプレート評価テスト結果

タスク4：プロンプトテンプレートのトラッキングを開始する

プレビュー・チュートリアル・ビデオ このタスクのプレビューを見るには、 4分24秒から始まるビデオをご覧ください。

AIユースケースでプロンプト・テンプレートを追跡し、開発・テストプロセスを同僚に報告することができます。 以下の手順に従って、プロンプトテンプレートのトラッキングを開始してください：

  1. AIファクトシートタブで、ガバナンスページをクリックする。
  2. AIユースケースのトラックをクリックします。
  3. 関連するAIユースケースが保険請求処理AIユースケースであることに注目してください。
  4. アプローチを選択する。 アプローチとは、AIのユースケースが示すビジネス上の問題に対する解決策の一面である。 たとえば、1つのユースケースで複数のプロンプトテンプレートを追跡するための アプローチを作成することができる。
  5. 次へ をクリックします。
  6. モデルのバージョンは、実験を選択します。
  7. バージョン番号のデフォルト値を受け入れる。
  8. 次へ をクリックします。
  9. 情報を確認し、資産の追跡をクリックします。
  10. モデルトラッキングが正常に開始したら、[View details] アイコン 詳細の表示 をクリックして、AIユースケースを開きます。
  11. ライフサイクルタブをクリックし、プロンプトテンプレートが開発フェーズにあることを確認します。 プロンプト・テンプレートがAIのライフサイクルを進むにつれて、これらの段階を経ることになる：
    • 開発段階：プロジェクト環境で開発されたAI資産。
    • 検証段階：検証のためにスペースやプロジェクトに配置されたAI資産。
    • オペレーションフェーズ：作戦のために空間に配置されたAI資産。

チェックポイント・アイコン 進捗状況を確認する

次の図は、AIユースケースのライフサイクルタブで、開発フェーズのプロンプトテンプレートを示しています。

検証フェーズに進む準備ができました

AIユースケースのライフサイクルタブ

タスク5：検証のために追跡された資産をインポートする

タスク1で述べたように、通常、プロンプトエンジニアがテストデータを用いてプロンプトを評価し、バリデーションエンジニアがプロンプトを検証する。 バリデーション・エンジニアは、プロンプト・エンジニアにはないバリデーション・データにアクセスできる。 この場合、検証データは別のプロジェクトで発生する。 以下の手順に従って、開発プロジェクトをエクスポートし、タスク 1 で作成した検証プロジェクトにアセットをインポートして、AI ライフサイクルの 検証 フェーズに移行します：

タスク 5a: サンプルプロジェクトをエクスポートする

プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 5分7秒から始まるビデオをご覧ください。

以下の手順に従って、開発プロジェクトをエクスポートしてください：

  1. ナビゲーションメニューの ナビゲーション・メニュー から、「プロジェクト」>「すべてのプロジェクトを表示」 を選択します。
  2. Getting started with watsonx.governance プロジェクトを選択します。
  3. インポート/エクスポートアイコンをクリックします。 インポート/エクスポート > プロジェクトのエクスポート。
  4. すべてのアセットを選択するには、チェックボックスをオンにします。
  5. 「エクスポート」をクリックします。
  6. エクスポートを続行をクリックして、アセットに資格情報が含まれている可能性があることを確認します。
  7. プロジェクトファイル名の入力を求められるのを待ち、validation-project.zipと入力し、保存をクリックします。
  8. プロジェクトのエクスポートが完了したら、プロジェクトに戻るをクリックします。

チェックポイント・アイコン 進捗状況を確認する



以下の画像はプロジェクトのエクスポートページです

プロジェクトのエクスポートページ

タスク 5b: アセットを検証プロジェクトにインポートする

プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 05:28から始まるビデオをご覧ください。

以下の手順に従って、開発プロジェクトから検証プロジェクトにアセットをインポートしてください：

  1. ナビゲーションメニューの ナビゲーション・メニュー から、「プロジェクト」>「すべてのプロジェクトを表示」 を選択します。
  2. バリデーションプロジェクトを開きます。
  3. インポート/エクスポートアイコンをクリックします。 インポート/エクスポート > プロジェクトをインポートします。
  4. ブラウズをクリックします。
  5. validation-project.zip を選択し、開くをクリックします。
  6. 同意を示すオプションを選択してください：アセットのタイプによっては、同じ名前とタイプを持つ既存のアセットが上書きされることを理解しています。
  7. インポート をクリックします。
  8. 資産インポートが正常に完了したら、 更新アイコン リフレッシュ をクリックしてインポート資産を確認します。

チェックポイント・アイコン 進捗状況を確認する

次の図は、検証プロジェクトのAssetsタブを示しています。

これで、検証プロジェクトのサンプルプロンプトテンプレートを評価する準備ができました

検証プロジェクト資産

タスク6：プロンプトテンプレートの検証

プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 5分41秒から始まるビデオをご覧ください。

これで、この検証プロジェクトのプロンプトテンプレートを、前回と同じ評価プロセスで評価する準備ができた。 評価には同じテストデータセットを使用する。 そして、先ほどと同じInput列とOutput列を選択する。 以下の手順に従って、プロンプトテンプレートを検証してください：

  1. 検証プロジェクトの資産タブをクリックします。
  2. オーバーフローメニュー から、保険請求の要約プロンプトテンプレート用に オーバーフロー・メニュー を選択し、[評価] を選択します。
  3. 評価をクリックして評価を開始する。
  4. Task 3a: Evaluate the prompt template の手順を繰り返して、Claims processing summarization プロンプト テンプレートを Validation project で評価します。
  5. 評価が完了したら、AIファクトシートタブをクリックします。
  6. 両方のテスト結果を見る：
    1. Development > Getting started with watsonx.governance > Test results をクリックします。
    2. 検証 > 検証プロジェクト > テスト結果をクリックします。

チェックポイント・アイコン 進捗状況を確認する

次の画像は、検証テストの結果である。 これで、プロンプトテンプレートをデプロイメントスペースに昇格させ、プロンプトテンプレートをデプロイする準備ができた。

のようにします

プロンプト・テンプレート評価テスト結果

タスク7：プロンプトテンプレートの展開

プロンプトテンプレートを配置するには、タスク1で作成した配置スペースをプロモートする必要があります。 次に、デプロイメントスペースでデプロイメントを作成し、デプロイされたプロンプトテンプレートをテストできます。

タスク 7a: デプロイメントスペースにプロンプトテンプレートをプロモートする

プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 06:14から始まるビデオをご覧ください。

プロンプトテンプレートを配置する準備として、プロンプトテンプレートを配置スペースに昇格します。 以下の手順に従って、プロンプトテンプレートを作成してください：

  1. ナビゲーション・トレイルで検証プロジェクトをクリックします。

    検証プロジェクト・ナビゲーション・トレイル

  2. 溢れる メニューから オーバーフロー・メニュー を選択し、 保険請求の要約 プロンプトテンプレートを選択します。 スペースへのプロモート を選択します。

  3. 対象スペースでは、保険金請求展開スペースを選択する。

  4. プロモーション後のスペースにあるプロンプトテンプレートに移動するオプションにチェックを入れます。

  5. プロモートをクリックします。

チェックポイント・アイコン 進捗状況を確認する

次の図は、デプロイメントスペースのプロンプトテンプレートを示している。 これでデプロイメントを作成する準備が整った。

デプロイメントスペースのプロンプトテンプレート

タスク 7b: プロンプト・テンプレートをデプロイする

プレビュー・チュートリアル・ビデオ このタスクのプレビューを見るには、 6分33秒から始まるビデオをご覧ください。

これで、配置スペース内からプロンプト テンプレートのオンライン配置を作成できます。 以下の手順に従って、配置を作成します：

  1. 配置スペースの保険金請求の要約資産ページから、新規配置を選択します。

  2. 配置名には、以下のテキストをコピーして貼り付けます：

    Insurance claims summarization deployment

  3. 「作成」 をクリックします。

チェックポイント・アイコン 進捗状況を確認する



以下の画像は展開されたプロンプト・テンプレートです

プロンプトテンプレートの展開

タスク 7c: 配備されたプロンプト・テンプレートを表示する

プレビュー・チュートリアル・ビデオ このタスクのプレビューを見るには、 6分47秒から始まるビデオをご覧ください。

展開されたプロンプトテンプレートをライフサイクルの現在のフェーズで表示するには、以下の手順に従います：

  1. 準備ができたら、配備を表示します。 APIリファレンスタブでは、アプリケーションでプロンプトテンプレートの配置を使用するための情報を提供します。
  2. テストタブをクリックします。 テスト] タブでは、 デプロイメントをテストするための指示と入力を送信することができます。
  3. Generateをクリックします。 結果ウィンドウを閉じる。
  4. AIファクトシートタブをクリックします。
  5. AIファクトシートのページを一番下までスクロールし、矢印をクリックすると詳細が表示されます。
  6. 開発、検証、および運用の各フェーズで、展開されたプロンプトテンプレートのAIファクトシートの情報を確認します。
  7. ページの一番上までスクロールし、 詳細を表示アイコン 詳細の表示 をクリックして、AIのユースケースを開きます。
  8. ユースケースで、ライフサイクルタブをクリックします。 プロンプト・テンプレートが操作フェーズに入ったことがわかる。
  9. 操作フェーズの保険金請求の要約プロンプト・テンプレートをクリックします。 終わったら、Cancelをクリックします。
  10. 操作フェーズで、保険金請求要約の展開プロンプトテンプレートの展開をクリックします。 終わったら、Cancelをクリックします。

チェックポイント・アイコン 進捗状況を確認する

次の図は、ライフサイクルのOperationフェーズにおけるプロンプト・テンプレートのプロンプト・テンプレートを示している。

オペレーション・フェーズのプロンプト・テンプレート


次のステップ

他のチュートリアルを試してみてください：

その他のリソース

  • 詳しくは、 ビデオを参照してください。

  • サンプルデータセット、プロジェクト、モデル、プロンプト、ノートブックをリソースハブで見つけて、実践的な経験を積むことができます：

    ノートブック プロジェクトに追加して、データの分析とモデルの構築を開始できるノートブック。

    プロジェクト インポート可能なプロジェクトには、ノートブック、データセット、プロンプト、その他の資産が含まれます。

    データ・セット プロジェクトに追加して、モデルの改良、分析、構築を行うことができるデータセット。

    プロンプト プロンプト 。プロンプト・ラボで基盤モデルのプロンプトを出すために使用できます。

    プロンプト・ラボで使用できる モデル 基盤モデル 。

親トピック: クイック・スタート・チュートリアル

前提条件

ドラフトコンテンツ - レビュー用タスクサーバー

タスク 1


このチュートリアルを完了するには、3つのワークスペースが必要です：

  • 開発フェーズ ：開発、評価、追跡資産を保存する開発プロジェクト。
  • 検証フェーズ ：検証準備が整った資産を保存する検証プロジェクト。
  • 運用フェーズ ：検証済みの資産およびデプロイメントを保存し、 デプロイメントスペース。

タスク 1a: サンプルに基づいて開発プロジェクトを作成する

プレビュー・チュートリアル・ビデオ このタスクのプレビューを見るには、 00:11 から始まるビデオをご覧ください。

リソース ハブには、評価および追跡できるサンプル プロンプト テンプレートを含む、 watsonx.governance の使用開始サンプル プロジェクトが含まれています。

注： サンプルプロジェクトを作成済みの場合、**「 watsonx.ai ランタイムをプロジェクトに関連付ける」**セクションに進んでください。

サンプル・プロジェクトを作成する

サンプルを基に開発プロジェクトを作成するには、以下の手順に従います

  1. ホーム画面から、 新規プロジェクト作成アイコン 新規プロジェクトの作成 をクリックします。

  2. サンプルを選択します。

  3. Getting started with watsonx.governance を検索し、そのサンプルプロジェクトを選択して、 [次へ] をクリックします。

  4. 既存の オブジェクト・ストレージ・サービス・インスタンス を選択するか、または新規作成します。

  5. 「作成」 をクリックします。

  6. プロジェクトのインポートが完了したら、「新しいプロジェクトを表示」 をクリックします。

詳細またはビデオについては、プロジェクトの作成をご覧ください。

watsonx.ai ランタイムをプロジェクトに関連付ける

watsonx.ai ランタイムサービスをサンプルプロジェクトに関連付けるには、以下の手順に従います

  1. プロジェクトが開いたら、管理タブをクリックし、サービスと統合ページを選択します。

  2. IBM servicesタブで、Associateサービスをクリックします。

  3. watsonx.aiランタイムインスタンスを選択します。 watsonx.aiRuntime サービスインスタンスがまだプロビジョニングされていない場合は、以下の手順に従ってください：

    1. 新規サービスをクリックします。

    2. watsonx.aiランタイムを選択します。

    3. 「作成」 をクリックします。

    4. リストから新しいサービス・インスタンスを選択する。

  4. サービスを関連付けるをクリックします。

  5. 必要に応じて、キャンセルをクリックし、サービス & 統合ページに戻ります。

  6. プロジェクトのアセットタブをクリックすると、サンプルアセットが表示されます。

関連サービスの詳細については、関連サービスの追加を参照してください。

watsonx.ai ランタイムサービスの詳細については、 watsonx.ai ランタイムをご覧ください。

チェックポイント・アイコン 進捗状況を確認する

次の図は、開発プロジェクトの「資産」タブを示しています。 これで、インベントリーとAIのユースケースを作成する準備ができた。

サンプル・プロジェクト資産

タスク 1b: 検証プロジェクトを作成する

プレビュー・チュートリアル・ビデオ このタスクのプレビューを見るには、 00:44 から始まるビデオをご覧ください。

通常、プロンプト・エンジニアがテストデータを使ってプロンプトを評価し、バリデーション・エンジニアがプロンプトを検証する。 バリデーション・エンジニアは、プロンプト・エンジニアにはないバリデーション・データにアクセスできる。 この場合、検証データは別のプロジェクトで発生する。 以下の手順に従って、空のプロジェクトを作成してください。 その後、開発プロジェクトから検証プロジェクトにアセットをインポートします。

  1. ナビゲーションメニューの ナビゲーション・メニュー から、「プロジェクト」>「すべてのプロジェクトを表示」 を選択します。
  2. 「プロジェクト」ページで、「新しいプロジェクト」をクリックします。
  3. プロジェクト名にはValidation project と入力する
  4. 「作成」 をクリックします。
  5. タスク1aと同じ手順に従って、watsonx.aiランタイムサービスを検証プロジェクトに関連付けます。
  6. 資産タブをクリックすると、空のプロジェクトが表示されます。

チェックポイント・アイコン 進捗状況を確認する



以下の画像は空の検証プロジェクトです

検証プロジェクト

タスク 1c: 配備スペースを作成する

プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 1:16 から始まるビデオをご覧ください。

後でプロンプト テンプレートをその配置スペースに昇格できるように、今すぐ配置スペースを作成する必要があります。 以下の手順に従って、配置スペースを作成します：

  1. ナビゲーションメニュー ナビゲーション・メニュー から、 デプロイメント を選択します。

  2. 新規デプロイメント・スペースをクリックしてください。

  3. スペース名には、以下のテキストをコピー＆ペーストする：Insurance claims deployment space

  4. デプロイメント・ステージでは、プロダクションを選択します。

    重要 デプロイメント ステージで、プロダクションを選択する必要があります。評価ステージから運用ステージにデプロイメントを移動したい場合。

  5. リストから機械学習サービスを選択する。

  6. 「作成」 をクリックします。

  7. スペースが作成されたら、新しいスペースを見るをクリックします。

チェックポイント・アイコン 進捗状況を確認する



以下の画像は展開スペースを示している

デプロイメント・スペース

タスク 2


インベントリーは、AIのユースケースを保存し、レビューするためのものだ。 AIユースケースは、組織が追跡しているAI資産のガバナンス情報を収集する。 すべてのAIユースケースをインベントリで見ることができる。 インベントリを作成するには、Platform assets catalogが必要です。 前提条件の完了」のセクションを参照してください。

タスク 2a: インベントリーの作成

プレビュー・チュートリアル・ビデオ このタスクのプレビューを見るには、 1:45 から始まるビデオをご覧ください。

インベントリーを作成するには、以下の手順に従ってください：

  1. ナビゲーションメニューの ナビゲーション・メニュー から、 AIガバナンス > 在庫を選択します。 既存の在庫がある場合は、その在庫を使用するために 「新しいAIユースケースを作成する」に進んでください。それ以外の場合は、このタスクを続けて、在庫を作成してください。

  2. 指示が出たら、「セットアップを完了」 をクリックします。 デフォルトの在庫を設定していない場合は、このオプションが表示されます。 デフォルトのインベントリを作成するウィンドウで、 Cloud Object Storage インスタンスを選択し、Create をクリックします。

  3. インベントリページで、新しいインベントリをクリックします。

  4. 名前は、以下のテキストをコピー＆ペーストしてください：Golden Bank Insurance Inventory

  5. 説明文は、以下のテキストをコピー＆ペーストしてください：Inventory for insurance related claims processing

  6. 作成後に共同作業者を追加オプションをクリアします。 インベントリーとAIユースケースレベルでアクセスを制限することができます。

  7. リストからCloud Object Storageインスタンスを選択します。

  8. 「作成」 をクリックします。

チェックポイント・アイコン 進捗状況を確認する

以下の画像は在庫を示す。 これで、AIのユースケースを作成する準備ができた。

インベントリー

タスク 2b: AIのユースケースを作成する

プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 02:08から始まるビデオをご覧ください。

AIのユースケースとは、AIの助けを借りて解決できるビジネス上の問題を定義したものです。 通常、これらはAI資産が開発される前に定義される。 以下の手順に従って、AIのユースケースを作成してください：

  1. ナビゲーションメニューの ナビゲーション・メニュー から、 AIガバナンス > AIユースケースを選択します。
  2. 新しいAIユースケースをクリックします。
  3. 名前には、以下のテキストをコピー＆ペーストする：Insurance claims processing AI use case
  4. ゴールデンバンク保険在庫またはその他の既存在庫を選択します。
  5. 作成をクリックして、残りのフィールドのデフォルト値を受け入れます。
  6. AIのユースケースを初めて使用する場合は、機能を設定するよう促されます。 「開始」 をクリックし、「AIユースケースへ」 をクリックします。

チェックポイント・アイコン 進捗状況を確認する



以下の画像はAIの使用例を示している

AIユースケース

タスク 2c: ワークスペースとユースケースを関連づける

プレビュー・チュートリアル・ビデオ このタスクのプレビューを見るには、 2分29秒から始まるビデオをご覧ください。

以下の手順に従って、ワークスペースをこのユースケースに関連付けます：

注意: AIユースケースの中から新しいプロジェクトとデプロイメントスペースを作成できます。
  1. 関連ワークスペースセクションまでスクロールします。
  2. 開発フェーズの下にある 「ワークスペースの関連付け」 をクリックします。
    1. Getting started with watsonx.governance プロジェクトを選択します。
    2. 保存 をクリックします。
  3. 検証フェーズで、「ワークスペースの関連付け」 をクリックします。
    1. 検証プロジェクトを選択します。
    2. 保存 をクリックします。
  4. 「運用」フェーズで、「ワークスペースの関連付け」 をクリックします。
    1. 保険金請求展開スペースを選択してください。
    2. 保存 をクリックします。

チェックポイント・アイコン 進捗状況を確認する

次の画像は、AI のユースケースと、関連するすべてのワークスペースを示しています。

AIユースケース

タスク 3


サンプルプロジェクトには、いくつかのプロンプトテンプレートとテストデータとして使用されるCSVファイルが含まれています。 以下のタスクを完了し、サンプルプロンプトテンプレートのいずれかを評価します。

タスク 3a: Prompt Labでサンプルのプロンプトテンプレートを編集する

プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 3:02 から始まるビデオをご覧ください。

以下の手順に従って、プロンプトテンプレートを表示し、その構成を確認してください：

  1. ナビゲーションメニューの ナビゲーション・メニュー から、「プロジェクト」>「すべてのプロジェクトを表示」 の順に選択します。

  2. Getting started with watsonx.governance プロジェクトを選択します。

  3. 「資産」タブをクリックします。

  4. 保険金請求の要約をクリックして、 Prompt Labのプロンプト・テンプレートを開き、 編集をクリックする。

  5. プロンプト変数アイコン プロンプト変数 をクリックします。

    注意: 評価を実行するには、少なくとも1つのプロンプト変数を作成する必要があります。

  6. 試すセクションまでスクロールする。 Inputフィールドの{input}変数に注目してください。 プロンプトをテストするには、prompt変数を入力として含める必要がある。 プロンプト変数とは、作成時にプロンプトの静的テキストに含め、実行時に動的にテキストに置き換えるプレースホルダーキーワードのことである。

チェックポイント・アイコン 進捗状況を確認する

次の画像はPrompt Labです。

次の画像はPrompt Labです。

タスク 3b: プロンプト・テンプレートの評価

プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 3分24秒から始まるビデオをご覧ください。

これでプロンプト・テンプレートを評価する準備ができた。

  1. 評価アイコン 評価 をクリックします。
  2. Generative AI Quality（生成AI品質） と Model Health（モデルの健全性） セクションを展開すると、ディメンションのリストが表示されます。 利用可能なメトリクスは、プロンプトのタスク・タイプによって異なります。 例えば、要約は分類とは異なる測定基準を持つ。
  3. 次へ をクリックします。
  4. テストデータを選択します：
    1. プロジェクトから選択をクリックします。
    2. Project file > Insurance claim summarization test data.csv を選択する。
    3. 「選択」をクリックします。
    4. 入力欄では、保険金請求を選択する。
    5. 参照出力列では、要約を選択する。
    6. 次へ をクリックします。
  5. 評価をクリックします。 評価は数分で完了します。 評価が完了すると、評価タブにテスト結果が表示されます。 このページには、この評価実行に関する詳細情報が表示されるため、モデルのパフォーマンスに関する洞察を得ることができます。 サマリーには、プロンプトテンプレート評価のメトリックスコアおよびデフォルトスコアのしきい値違反の概要が表示されます。
  6. AIファクトシートタブをクリックします。
    1. タブの各セクションの情報を見る。
    2. Development > Getting started with watsonx.governance > Test results をクリックすると、テスト結果が再度表示されます。

チェックポイント・アイコン 進捗状況を確認する

以下の画像は、その評価結果である。 これで、AIのユースケースでプロンプト・テンプレートの追跡を開始できるようになった。

プロンプト・テンプレート評価テスト結果

タスク 4


プレビュー・チュートリアル・ビデオ このタスクのプレビューを見るには、 4分24秒から始まるビデオをご覧ください。

AIユースケースでプロンプト・テンプレートを追跡し、開発・テストプロセスを同僚に報告することができます。 以下の手順に従って、プロンプトテンプレートのトラッキングを開始してください：

  1. AIファクトシートタブで、ガバナンスページをクリックする。
  2. AIユースケースのトラックをクリックします。
  3. 関連するAIユースケースが保険請求処理AIユースケースであることに注目してください。
  4. アプローチを選択する。 アプローチとは、AIのユースケースが示すビジネス上の問題に対する解決策の一面である。 たとえば、1つのユースケースで複数のプロンプトテンプレートを追跡するための アプローチを作成することができる。
  5. 次へ をクリックします。
  6. モデルのバージョンは、実験を選択します。
  7. バージョン番号のデフォルト値を受け入れる。
  8. 次へ をクリックします。
  9. 情報を確認し、資産の追跡をクリックします。
  10. モデルトラッキングが正常に開始したら、 アイコン 詳細の表示 をクリックしてAIユースケースを開きます。
  11. ライフサイクルタブをクリックし、プロンプトテンプレートが開発フェーズにあることを確認します。 プロンプト・テンプレートがAIのライフサイクルを進むにつれて、これらの段階を経ることになる：
    • 開発段階：プロジェクト環境で開発されたAI資産。
    • 検証段階：検証のためにスペースやプロジェクトに配置されたAI資産。
    • オペレーションフェーズ：作戦のために空間に配置されたAI資産。

チェックポイント・アイコン 進捗状況を確認する

次の図は、AIユースケースのライフサイクルタブで、開発フェーズのプロンプトテンプレートを示しています。

検証フェーズに進む準備ができました

AIユースケースのライフサイクルタブ

タスク 5


タスク1で述べたように、通常、プロンプトエンジニアがテストデータを用いてプロンプトを評価し、バリデーションエンジニアがプロンプトを検証する。 バリデーション・エンジニアは、プロンプト・エンジニアにはないバリデーション・データにアクセスできる。 この場合、検証データは別のプロジェクトで発生する。 以下の手順に従って、開発プロジェクトをエクスポートし、タスク 1 で作成した検証プロジェクトにアセットをインポートして、AI ライフサイクルの 検証 フェーズに移行します：

タスク 5a: サンプルプロジェクトをエクスポートする

プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 5分7秒から始まるビデオをご覧ください。

以下の手順に従って、開発プロジェクトをエクスポートしてください：

  1. ナビゲーションメニューの ナビゲーション・メニュー から、「プロジェクト」>「すべてのプロジェクトを表示」 の順に選択します。
  2. Getting started with watsonx.governance プロジェクトを選択します。
  3. インポート/エクスポートアイコンをクリックします。 インポート/エクスポート > プロジェクトのエクスポート。
  4. すべてのアセットを選択するには、チェックボックスをオンにします。
  5. 「エクスポート」をクリックします。
  6. エクスポートを続行をクリックして、アセットに資格情報が含まれている可能性があることを確認します。
  7. プロジェクトファイル名の入力を求められるのを待ち、validation-project.zipと入力し、保存をクリックします。
  8. プロジェクトのエクスポートが完了したら、プロジェクトに戻るをクリックします。

チェックポイント・アイコン 進捗状況を確認する



以下の画像はプロジェクトのエクスポートページです

プロジェクトのエクスポートページ

タスク 5b: アセットを検証プロジェクトにインポートする

プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 05:28から始まるビデオをご覧ください。

以下の手順に従って、開発プロジェクトから検証プロジェクトにアセットをインポートしてください：

  1. ナビゲーションメニューの ナビゲーション・メニュー から、「プロジェクト」>「すべてのプロジェクトを表示」 の順に選択します。
  2. バリデーションプロジェクトを開きます。
  3. インポート/エクスポートアイコンをクリックします。 インポート/エクスポート > プロジェクトをインポートします。
  4. ブラウズをクリックします。
  5. validation-project.zip を選択し、開くをクリックします。
  6. 同意を示すオプションを選択してください：アセットのタイプによっては、同じ名前とタイプを持つ既存のアセットが上書きされることを理解しています。
  7. インポート をクリックします。
  8. 資産インポートが正常に完了したら、 更新アイコン リフレッシュ をクリックしてインポート資産を確認します。

チェックポイント・アイコン 進捗状況を確認する

次の図は、検証プロジェクトのAssetsタブを示しています。

これで、検証プロジェクトのサンプルプロンプトテンプレートを評価する準備ができました

検証プロジェクト資産

タスク 6


プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 5分41秒から始まるビデオをご覧ください。

これで、この検証プロジェクトのプロンプトテンプレートを、前回と同じ評価プロセスで評価する準備ができた。 評価には同じテストデータセットを使用する。 そして、先ほどと同じInput列とOutput列を選択する。 以下の手順に従って、プロンプトテンプレートを検証してください：

  1. 検証プロジェクトの資産タブをクリックします。
  2. オーバーフローメニュー から、保険請求の要約プロンプトテンプレート用に オーバーフロー・メニュー を選択し、[評価] を選択します。
  3. 評価をクリックして評価を開始する。
  4. Task 3a: Evaluate the prompt template の手順を繰り返して、Claims processing summarization プロンプト テンプレートを Validation project で評価します。
  5. 評価が完了したら、AIファクトシートタブをクリックします。
  6. 両方のテスト結果を見る：
    1. Development > Getting started with watsonx.governance > Test results をクリックします。
    2. 検証 > 検証プロジェクト > テスト結果をクリックします。

チェックポイント・アイコン 進捗状況を確認する

次の画像は、検証テストの結果である。 これで、プロンプトテンプレートをデプロイメントスペースに昇格させ、プロンプトテンプレートをデプロイする準備ができた。

のようにします

プロンプト・テンプレート評価テスト結果

タスク 7


プロンプトテンプレートを配置するには、タスク1で作成した配置スペースをプロモートする必要があります。 次に、デプロイメントスペースでデプロイメントを作成し、デプロイされたプロンプトテンプレートをテストできます。

タスク 7a: デプロイメントスペースにプロンプトテンプレートをプロモートする

プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 06:14から始まるビデオをご覧ください。

プロンプトテンプレートを配置する準備として、プロンプトテンプレートを配置スペースに昇格します。 以下の手順に従って、プロンプトテンプレートを作成してください：

  1. ナビゲーション・トレイルで検証プロジェクトをクリックします。

    検証プロジェクト・ナビゲーション・トレイル

  2. 溢れる メニューから オーバーフロー・メニュー を選択し、 保険請求の要約 プロンプトテンプレートを選択します。 スペースへのプロモート を選択します。

  3. 対象スペースでは、保険金請求展開スペースを選択する。

  4. プロモーション後のスペースにあるプロンプトテンプレートに移動するオプションにチェックを入れます。

  5. プロモートをクリックします。

チェックポイント・アイコン 進捗状況を確認する

次の図は、デプロイメントスペースのプロンプトテンプレートを示している。 これでデプロイメントを作成する準備が整った。

デプロイメントスペースのプロンプトテンプレート

タスク 7b: プロンプト・テンプレートをデプロイする

プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 6分33秒から始まるビデオをご覧ください。

これで、配置スペース内からプロンプト テンプレートのオンライン配置を作成できます。 以下の手順に従って、配置を作成します：

  1. 配置スペースの保険金請求の要約資産ページから、新規配置を選択します。

  2. 配置名には、以下のテキストをコピーして貼り付けます：

    Insurance claims summarization deployment

  3. 「作成」 をクリックします。

チェックポイント・アイコン 進捗状況を確認する



以下の画像は展開されたプロンプト・テンプレートです

プロンプトテンプレートの展開

タスク 7c: 配備されたプロンプト・テンプレートを表示する

プレビュー・チュートリアル・ビデオ このタスクのプレビューを見るには、 6分47秒から始まるビデオをご覧ください。

展開されたプロンプトテンプレートをライフサイクルの現在のフェーズで表示するには、以下の手順に従います：

  1. 準備ができたら、配備を表示します。 APIリファレンスタブでは、アプリケーションでプロンプトテンプレートの配置を使用するための情報を提供します。
  2. テストタブをクリックします。 テスト] タブでは、 デプロイメントをテストするための指示と入力を送信することができます。
  3. Generateをクリックします。 結果ウィンドウを閉じる。
  4. AIファクトシートタブをクリックします。
  5. AIファクトシートのページを一番下までスクロールし、矢印をクリックすると詳細が表示されます。
  6. 開発、検証、および運用の各フェーズで、展開されたプロンプトテンプレートのAIファクトシートの情報を確認します。
  7. ページの一番上までスクロールし、 詳細を表示アイコン 詳細の表示 をクリックして、AIのユースケースを開きます。
  8. ユースケースで、ライフサイクルタブをクリックします。 プロンプト・テンプレートが操作フェーズに入ったことがわかる。
  9. 操作フェーズの保険金請求の要約プロンプト・テンプレートをクリックします。 終わったら、Cancelをクリックします。
  10. 操作フェーズで、保険金請求要約の展開プロンプトテンプレートの展開をクリックします。 終わったら、Cancelをクリックします。

チェックポイント・アイコン 進捗状況を確認する

次の図は、ライフサイクルのOperationフェーズにおけるプロンプト・テンプレートのプロンプト・テンプレートを示している。

オペレーション・フェーズのプロンプト・テンプレート