このチュートリアルでは、プロンプトテンプレートの評価とトラッキングの方法を学びます。 プロジェクトまたはデプロイメント・スペース内のプロンプト・テンプレートを評価して、基盤モデル・タスクのパフォーマンスを測定し、モデルがどのように応答を生成するかを理解することができます。 そして、AIユースケースでプロンプト・テンプレートを追跡し、資産に関する事実を把握・共有することで、ガバナンスとコンプライアンスの目標達成に役立てることができる。
- 必須のサービス
- watsonx.governance
基本的なワークフローには、以下のタスクが含まれます:
- 評価するプロンプトテンプレートを含むプロジェクトを開く。 プロジェクトは、他の人と協力してアセットを扱う場所です。
- テストデータを使用してプロンプトテンプレートを評価する。
- AIファクトシートで結果を確認する。
- AIユースケースで評価されたプロンプトテンプレートを追跡する。
- 評価済みのプロンプトテンプレートをデプロイしてテストします。
プロンプト・テンプレートについて読む
watsonx.governance を使用すると、プロジェクトのプロンプト テンプレートを評価し、以下のタスク タイプに対して基礎モデルがどの程度効果的に応答を生成しているかを測定できます:
- 機密区分
- 要約
- 生成
- 質問への回答
- エンティティー抽出
プロンプト・テンプレートの評価と追跡に関するビデオを見る
このチュートリアルのステップをプレビューするには、このビデオをご覧ください。 ビデオで紹介されているユーザー・インターフェースには若干の違いがあるかもしれません。 このビデオは、書面でのチュートリアルに付随するものです。
このビデオは、このドキュメントのコンセプトとタスクを学ぶための視覚的な方法を提供します。
プロンプト・テンプレートの評価と追跡に関するチュートリアルをお試しください
このチュートリアルでは、以下のタスクを実行します:
- タスク1:ワークスペースを作成する
- タスク2:インベントリーとAIユースケースの作成
- タスク3:サンプルプロンプトテンプレートの評価
- タスク4:プロンプトテンプレートのトラッキングを開始する
- タスク5:検証のために追跡された資産をインポートする
- タスク6:プロンプト・テンプレートの検証
- タスク7:プロンプトテンプレートの展開
このチュートリアルを完了するためのヒント
このチュートリアルを成功させるためのヒントを紹介します。
ビデオのピクチャー・イン・ピクチャーを使う
次のアニメーション画像は、ビデオのピクチャー・イン・ピクチャーと目次機能の使い方を示しています:
地域の助けを借りる
このチュートリアルで助けが必要な場合は、watsonxコミュニティーのディスカッション・フォーラムで質問したり、答えを見つけることができます。
ブラウザのウィンドウを設定する
このチュートリアルを最適に完了するには、Cloud Pak for Data を 1 つのブラウザ ウィンドウで開き、このチュートリアルのページを別のブラウザ ウィンドウで開いておくと、2 つのアプリケーションを簡単に切り替えることができます。 2つのブラウザウィンドウを横に並べると、より見やすくなります。
前提条件を満たす
このチュートリアルを完了するには、以下の前提条件を設定する必要があります。
Platform assets catalogへのアクセスを割り当てる
AIのユースケースやインベントリが保存されているPlatform assets catalogに、少なくともEditor権限でアクセスできる必要があります。 詳細については、 プラットフォーム接続の追加トピックを参照してください。
カタログの作成とアクセス権の割り当て方法については、以下のアニメーションをご覧ください。
Watson OpenScaleのセットアップ
このチュートリアルにはWatson OpenScale必要です。 Watson OpenScale をセットアップするには、Auto setup オプションを使用するか、Setup options for Watson OpenScale を参照してください:
- ナビゲーションメニュー「」から、「管理」>「サービス」>「サービスインスタンス」を選択します。
- Service instancesページで、Watson OpenScaleまたはwatsonx.governanceインスタンスのOverflowメニュー ' をクリックし、Launch を選択します。
- Service details ページで、Launch Watson OpenScale をクリックします。
- モデル評価ページが表示されたら、自動セットアップをクリックします。
タスク1:ワークスペースを作成する
このチュートリアルを完了するには、3つのワークスペースが必要です:
- 開発フェーズ: 開発プロジェクトで、開発、評価、追跡を行った資産を保存します。
- 検証フェーズ: 検証の準備ができたアセットを保存する検証プロジェクト。
- 運用フェーズ:検証済みのアセットとデプロイメントを格納する本番デプロイメントスペース。
タスク 1a: サンプルに基づいて開発プロジェクトを作成する
このタスクをプレビューするには、00:11から始まるビデオを見てください。
リソースハブには、評価および追跡が可能なプロンプトテンプレートのサンプルを含むサンプルプロジェクトが含まれています。 すでにサンプル・プロジェクトを作成している場合は、このタスクのステップ 1 をスキップして、次にwatsonx.aiRuntime サービスをサンプル・プロジェクトに関連付けます。 そうでない場合は、以下の手順に従ってサンプルを基に開発プロジェクトを作成してください:
リソース ハブの Getting started with watsonx.governance プロジェクトにアクセスします。
プロジェクトを作成をクリックします。
プロジェクト名のデフォルト値を受け入れ、Createをクリックします。
プロジェクトが正常に作成されたら、新しいプロジェクトを見るをクリックします。
プロジェクトにwatsonx.aiRuntime サービスを関連付ける。 詳しくは、watsonx.aiランタイムを参照。
プロジェクトが開いたら、管理タブをクリックし、サービスと統合ページを選択します。
IBM servicesタブで、Associateサービスをクリックします。
watsonx.aiランタイムインスタンスを選択します。 watsonx.aiRuntime サービスインスタンスがまだプロビジョニングされていない場合は、以下の手順に従ってください:
新規サービスをクリックします。
watsonx.aiランタイムを選択します。
「作成」 をクリックします。
リストから新しいサービス・インスタンスを選択する。
サービスを関連付けるをクリックします。
必要に応じて、キャンセルをクリックし、サービス & 統合ページに戻ります。
プロジェクトのアセットタブをクリックすると、サンプルアセットが表示されます。
詳細またはビデオについては、プロジェクトの作成をご覧ください。
関連サービスの詳細については、関連サービスの追加を参照してください。
進捗状況を確認する
次の図は、開発プロジェクトの「資産」タブを示しています。 これで、インベントリーとAIのユースケースを作成する準備ができた。
タスク 1b: 検証プロジェクトを作成する
このタスクをプレビューするには、00:44から始まるビデオをご覧ください。
通常、プロンプト・エンジニアがテストデータを使ってプロンプトを評価し、バリデーション・エンジニアがプロンプトを検証する。 バリデーション・エンジニアは、プロンプト・エンジニアにはないバリデーション・データにアクセスできる。 この場合、検証データは別のプロジェクトで発生する。 以下の手順に従って、空のプロジェクトを作成してください。 その後、開発プロジェクトから検証プロジェクトにアセットをインポートします。
- ナビゲーションメニュー「」から、「プロジェクト」 > 「すべてのプロジェクトを表示」を選択します。
- 「プロジェクト」ページで、「新しいプロジェクト」をクリックします。
- プロジェクト名には
Validation project
と入力する - 「作成」 をクリックします。
- タスク1aと同じ手順に従って、watsonx.aiランタイムサービスを検証プロジェクトに関連付けます。
- 資産タブをクリックすると、空のプロジェクトが表示されます。
進捗状況を確認する
以下の画像は空の検証プロジェクトです
タスク 1c: 配備スペースを作成する
このタスクをプレビューするには、01:16から始まるビデオをご覧ください。
後でプロンプト テンプレートをその配置スペースに昇格できるように、今すぐ配置スペースを作成する必要があります。 以下の手順に従って、配置スペースを作成します:
ナビゲーションメニュー「」から「Deployments」を選択する。
新規デプロイメント・スペースをクリックしてください。
スペース名には、以下のテキストをコピー&ペーストする:
Insurance claims deployment space
デプロイメント・ステージでは、プロダクションを選択します。
重要 デプロイメント ステージで、プロダクションを選択する必要があります。評価ステージから運用ステージにデプロイメントを移動したい場合。リストから機械学習サービスを選択する。
「作成」 をクリックします。
スペースが作成されたら、新しいスペースを見るをクリックします。
進捗状況を確認する
以下の画像は展開スペースを示している
タスク2:インベントリーとAIユースケースの作成
インベントリーは、AIのユースケースを保存し、レビューするためのものだ。 AIユースケースは、組織が追跡しているAI資産のガバナンス情報を収集する。 すべてのAIユースケースをインベントリで見ることができる。 インベントリを作成するには、Platform assets catalogが必要です。 前提条件の完了」のセクションを参照してください。
タスク 2a: インベントリーの作成
このタスクをプレビューするには、01:45から始まるビデオを見てください。
インベントリーを作成するには、以下の手順に従ってください:
ナビゲーションメニュー「」から、AIガバナンス>AIユースケースを選択する。
既存の在庫がある場合は、その在庫を使用するために新しいAIユースケースを作成するに進みます。
プロンプトが表示されたら、Complete setupをクリックします。 AIのユースケースを初めて扱う場合は、このオプションが表示されます。 その後、以下の手順に従ってインベントリーを作成します:
在庫管理アイコン「」をクリックする。
インベントリページで、新しいインベントリをクリックします。
名前は、以下のテキストをコピー&ペーストしてください:
Golden Bank Insurance Inventory
説明文は、以下のテキストをコピー&ペーストしてください:
Inventory for insurance related claims processing
作成後に共同作業者を追加オプションをクリアします。 インベントリーとAIユースケースレベルでアクセスを制限することができます。
リストからCloud Object Storageインスタンスを選択します。
「作成」 をクリックします。
在庫管理ページを閉じます。
進捗状況を確認する
以下の画像は在庫を示す。 これで、AIのユースケースを作成する準備ができた。
タスク 2b: AIのユースケースを作成する
このタスクをプレビューするには、 02:08から始まるビデオをご覧ください。
AIのユースケースとは、AIの助けを借りて解決できるビジネス上の問題を定義したものです。 通常、これらはAI資産が開発される前に定義される。 以下の手順に従って、AIのユースケースを作成してください:
- 新しいAIユースケースをクリックします。
- 名前には、以下のテキストをコピー&ペーストする:
Insurance claims processing AI use case
- ゴールデンバンク保険在庫またはその他の既存在庫を選択します。
- 作成をクリックして、残りのフィールドのデフォルト値を受け入れます。
- AIのユースケースを初めて使用する場合は、機能を設定するよう促されます。 開始をクリックし、AIのユースケースが表示されるのを待ちます。
進捗状況を確認する
以下の画像はAIの使用例を示している
タスク 2c: ワークスペースとユースケースを関連づける
このタスクをプレビューするには、02:29から始まるビデオをご覧ください。
以下の手順に従って、ワークスペースをこのユースケースに関連付けます:
- 関連ワークスペースセクションまでスクロールします。
- Develop フェーズで、Associate workspace をクリックします。
- Getting started with watsonx.governance プロジェクトを選択します。
- 保存 をクリックします。
- 検証フェーズで、ワークスペースの関連付けをクリックします。
- 検証プロジェクトを選択します。
- 保存 をクリックします。
- Operate フェーズで、Associate workspace をクリックします。
- 保険金請求展開スペースを選択してください。
- 保存 をクリックします。
進捗状況を確認する
次の画像は、AI のユースケースと、関連するすべてのワークスペースを示しています。
タスク3:サンプルプロンプトテンプレートを評価する
サンプルプロジェクトには、いくつかのプロンプトテンプレートとテストデータとして使用されるCSVファイルが含まれています。 以下のタスクを完了し、サンプルプロンプトテンプレートのいずれかを評価します。
タスク 3a: Prompt Labでサンプルのプロンプトテンプレートを編集する
このタスクをプレビューするには、03:02から始まるビデオをご覧ください。
以下の手順に従って、プロンプトテンプレートを表示し、その構成を確認してください:
ナビゲーションメニュー「」から、「プロジェクト」 > 「すべてのプロジェクトを表示」を選択します。
Getting started with watsonx.governance プロジェクトを選択します。
「資産」タブをクリックします。
保険金請求の要約をクリックして、 Prompt Labのプロンプト・テンプレートを開き、 編集をクリックする。
プロンプト変数アイコン「」をクリックする。
注意: 評価を実行するには、少なくとも1つのプロンプト変数を作成する必要があります。試すセクションまでスクロールする。 Inputフィールドの
{input}
変数に注目してください。 プロンプトをテストするには、prompt変数を入力として含める必要がある。 プロンプト変数とは、作成時にプロンプトの静的テキストに含め、実行時に動的にテキストに置き換えるプレースホルダーキーワードのことである。
進捗状況を確認する
次の画像はPrompt Labです。
タスク 3b: プロンプト・テンプレートの評価
このタスクをプレビューするには、03:24から始まるビデオをご覧ください。
これでプロンプト・テンプレートを評価する準備ができた。
- 評価アイコン「」をクリックする。
- Generative AI Quality セクションを展開すると、次元のリストが表示されます。 利用可能なメトリクスは、プロンプトのタスク・タイプによって異なります。 例えば、要約は分類とは異なる測定基準を持つ。
- 次へ をクリックします。
- テストデータを選択します:
- プロジェクトから選択をクリックします。
- Project file > Insurance claim summarization test data.csv を選択する。
- 「選択」をクリックします。
- 入力欄では、保険金請求を選択する。
- 参照出力列では、要約を選択する。
- 次へ をクリックします。
- 評価をクリックします。 評価は数分で完了します。 評価が完了すると、評価タブにテスト結果が表示されます。 このページには、この評価実行に関する詳細情報が表示されるため、モデルのパフォーマンスに関する洞察を得ることができます。 サマリーには、プロンプトテンプレート評価のメトリックスコアおよびデフォルトスコアのしきい値違反の概要が表示されます。
- AIファクトシートタブをクリックします。
- タブの各セクションの情報を見る。
- Development > Getting started with watsonx.governance > Test results をクリックすると、テスト結果が再度表示されます。
進捗状況を確認する
以下の画像は、その評価結果である。 これで、AIのユースケースでプロンプト・テンプレートの追跡を開始できるようになった。
タスク4:プロンプトテンプレートのトラッキングを開始する
このタスクをプレビューするには、04:24から始まるビデオをご覧ください。
AIユースケースでプロンプト・テンプレートを追跡し、開発・テストプロセスを同僚に報告することができます。 以下の手順に従って、プロンプトテンプレートのトラッキングを開始してください:
- AIファクトシートタブで、ガバナンスページをクリックする。
- AIユースケースのトラックをクリックします。
- 関連するAIユースケースが保険請求処理AIユースケースであることに注目してください。
- アプローチを選択する。 アプローチとは、AIのユースケースが示すビジネス上の問題に対する解決策の一面である。 たとえば、1つのユースケースで複数のプロンプトテンプレートを追跡するための アプローチを作成することができる。
- 次へ をクリックします。
- モデルのバージョンは、実験を選択します。
- バージョン番号のデフォルト値を受け入れる。
- 次へ をクリックします。
- 情報を確認し、資産の追跡をクリックします。
- モデル追跡が正常に開始されたら、詳細表示アイコン「」をクリックしてAIユースケースを開きます。
- ライフサイクルタブをクリックし、プロンプトテンプレートが開発フェーズにあることを確認します。 プロンプト・テンプレートがAIのライフサイクルを進むにつれて、これらの段階を経ることになる:
- 開発段階:プロジェクト環境で開発されたAI資産。
- 検証段階:検証のためにスペースやプロジェクトに配置されたAI資産。
- オペレーションフェーズ:作戦のために空間に配置されたAI資産。
進捗状況を確認する
次の図は、AIユースケースのライフサイクルタブで、開発フェーズのプロンプトテンプレートを示しています。
検証フェーズに進む準備ができました
タスク5:検証のために追跡された資産をインポートする
タスク1で述べたように、通常、プロンプトエンジニアがテストデータを用いてプロンプトを評価し、バリデーションエンジニアがプロンプトを検証する。 バリデーション・エンジニアは、プロンプト・エンジニアにはないバリデーション・データにアクセスできる。 この場合、検証データは別のプロジェクトで発生する。 以下の手順に従って、開発プロジェクトをエクスポートし、タスク 1 で作成した検証プロジェクトにアセットをインポートして、AI ライフサイクルの 検証 フェーズに移行します:
タスク 5a: サンプルプロジェクトをエクスポートする
このタスクをプレビューするには、05:07から始まるビデオをご覧ください。
以下の手順に従って、開発プロジェクトをエクスポートしてください:
- ナビゲーションメニュー「」から、「プロジェクト」 > 「すべてのプロジェクトを表示」を選択します。
- Getting started with watsonx.governance プロジェクトを選択します。
- インポート/エクスポートアイコン「>プロジェクトのエクスポートをクリックします。
- すべてのアセットを選択するには、チェックボックスをオンにします。
- 「エクスポート」をクリックします。
- エクスポートを続行をクリックして、アセットに資格情報が含まれている可能性があることを確認します。
- プロジェクトファイル名の入力を求められるのを待ち、
validation-project.zip
と入力し、保存をクリックします。 - プロジェクトのエクスポートが完了したら、プロジェクトに戻るをクリックします。
進捗状況を確認する
以下の画像はプロジェクトのエクスポートページです
タスク 5b: アセットを検証プロジェクトにインポートする
このタスクをプレビューするには、 05:28から始まるビデオをご覧ください。
以下の手順に従って、開発プロジェクトから検証プロジェクトにアセットをインポートしてください:
- ナビゲーションメニュー「」から、「プロジェクト」 > 「すべてのプロジェクトを表示」を選択します。
- バリデーションプロジェクトを開きます。
- インポート/エクスポートアイコン「>プロジェクトのインポートをクリックします。
- ブラウズをクリックします。
- validation-project.zip を選択し、開くをクリックします。
- 同意を示すオプションを選択してください:アセットのタイプによっては、同じ名前とタイプを持つ既存のアセットが上書きされることを理解しています。
- インポート をクリックします。
- アセットが正常にインポートされたら、更新アイコン「」をクリックしてインポートされたアセットを確認します。
進捗状況を確認する
次の図は、検証プロジェクトのAssetsタブを示しています。
これで、検証プロジェクトのサンプルプロンプトテンプレートを評価する準備ができました
タスク6:プロンプトテンプレートの検証
このタスクをプレビューするには、05:41から始まるビデオをご覧ください。
これで、この検証プロジェクトのプロンプトテンプレートを、前回と同じ評価プロセスで評価する準備ができた。 評価には同じテストデータセットを使用する。 そして、先ほどと同じInput列とOutput列を選択する。 以下の手順に従って、プロンプトテンプレートを検証してください:
- 検証プロジェクトの資産タブをクリックします。
- 保険金請求要約プロンプト・テンプレートのオーバーフローメニュー「」から、「評価」を選択します。
- 評価をクリックして評価を開始する。
- Task 3a: Evaluate the prompt template の手順を繰り返して、Claims processing summarization プロンプト テンプレートを Validation project で評価します。
- 評価が完了したら、AIファクトシートタブをクリックします。
- 両方のテスト結果を見る:
- Development > Getting started with watsonx.governance > Test results をクリックします。
- 検証 > 検証プロジェクト > テスト結果をクリックします。
進捗状況を確認する
次の画像は、検証テストの結果である。 これで、プロンプトテンプレートをデプロイメントスペースに昇格させ、プロンプトテンプレートをデプロイする準備ができた。
のようにします
タスク7:プロンプトテンプレートの展開
プロンプトテンプレートを配置するには、タスク1で作成した配置スペースをプロモートする必要があります。 次に、デプロイメントスペースでデプロイメントを作成し、デプロイされたプロンプトテンプレートをテストできます。
タスク 7a: デプロイメントスペースにプロンプトテンプレートをプロモートする
このタスクをプレビューするには、 06:14から始まるビデオをご覧ください。
プロンプトテンプレートを配置する準備として、プロンプトテンプレートを配置スペースに昇格します。 以下の手順に従って、プロンプトテンプレートを作成してください:
ナビゲーション・トレイルで検証プロジェクトをクリックします。
保険金請求要約プロンプト・テンプレートのオーバーフローメニュー「」から、「Promote to space」を選択する。
対象スペースでは、保険金請求展開スペースを選択する。
プロンプト・テンプレート昇格後のスペースへにチェックを入れる。
プロモートをクリックします。
進捗状況を確認する
次の図は、デプロイメントスペースのプロンプトテンプレートを示している。 これでデプロイメントを作成する準備が整った。
タスク 7b: プロンプト・テンプレートをデプロイする
このタスクをプレビューするには、06:33から始まるビデオをご覧ください。
これで、配置スペース内からプロンプト テンプレートのオンライン配置を作成できます。 以下の手順に従って、配置を作成します:
配置スペースの保険金請求の要約資産ページから、新規配置を選択します。
配置名には、以下のテキストをコピーして貼り付けます:
Insurance claims summarization deployment
「作成」 をクリックします。
進捗状況を確認する
以下の画像は展開されたプロンプト・テンプレートです
タスク 7c: 配備されたプロンプト・テンプレートを表示する
このタスクをプレビューするには、06:47から始まるビデオをご覧ください。
展開されたプロンプトテンプレートをライフサイクルの現在のフェーズで表示するには、以下の手順に従います:
- 準備ができたら、配備を表示します。 APIリファレンスタブでは、アプリケーションでプロンプトテンプレートの配置を使用するための情報を提供します。
- テストタブをクリックします。 Test タブでは、配置をテストするための指示と入力を送信できます。
- Generateをクリックします。 結果ウィンドウを閉じる。
- AIファクトシートタブをクリックします。
- AIファクトシートのページを一番下までスクロールし、矢印をクリックすると詳細が表示されます。
- 開発、検証、および運用の各フェーズで、展開されたプロンプトテンプレートのAIファクトシートの情報を確認します。
- ページの一番上までスクロールし、詳細を見るアイコン「」をクリックして、AIのユースケースを開きます。
- ユースケースで、ライフサイクルタブをクリックします。 プロンプト・テンプレートが操作フェーズに入ったことがわかる。
- 操作フェーズの保険金請求の要約プロンプト・テンプレートをクリックします。 終わったら、Cancelをクリックします。
- 操作フェーズで、保険金請求要約の展開プロンプトテンプレートの展開をクリックします。 終わったら、Cancelをクリックします。
進捗状況を確認する
次の図は、ライフサイクルのOperationフェーズにおけるプロンプト・テンプレートのプロンプト・テンプレートを示している。
今後のステップ
他のチュートリアルを試してみてください:
その他のリソース
詳しくは、 ビデオを参照してください。
サンプルデータセット、プロジェクト、モデル、プロンプト、ノートブックをリソースハブで見つけて、実践的な経験を積むことができます:
ノートブックをプロジェクトに追加することで、データの分析やモデルの構築を始めることができます。
ノートブック、データセット、プロンプト、その他のアセットを含むインポート可能なプロジェクト。
プロジェクトを改良、分析、モデル構築するために追加できるデータセット。
プロンプト 。プロンプト・ラボで基盤モデルのプロンプトを出すために使用できます。
プロンプト・ラボで使用できる 基盤モデル 。
親トピック: クイック・スタート・チュートリアル