クイックスタートプロンプト・テンプレートの評価と追跡
このチュートリアルでは、プロンプトテンプレートの評価とトラッキングの方法を学びます。 プロジェクトまたはデプロイメント・スペース内のプロンプト・テンプレートを評価して、基盤モデル・タスクのパフォーマンスを測定し、モデルがどのように応答を生成するかを理解することができます。 そして、AIユースケースでプロンプト・テンプレートを追跡し、 資産事実を把握・共有することで、ガバナンスやコンプライアンスの目標達成に役立てることができる。
- 必須のサービス
- watsonx.governance
- watsonx.ai
- watsonx.ai ランタイム
- Cloud Object Storage
基本的なワークフローには、以下のタスクが含まれます：
- 評価するプロンプトテンプレートを含むプロジェクトを開く。 プロジェクトは、他の人と協力して資産扱う場所です。
- テストデータを使用してプロンプトテンプレートを評価する。
- AI ファクトシート結果を確認する。
- AIユースケースで評価されたプロンプトテンプレートを追跡する。
- 評価済みプロンプトテンプレートをデプロイしてテストします。
プロンプト・テンプレートについて読む
watsonx.governance を使用すると、プロジェクトでプロンプトテンプレートを評価し、 基盤モデル以下のタスクタイプに対する応答をどの程度効果的に生成するかを測定できます：
- 機密区分
- 要約
- 生成
- 質問への回答
- エンティティー抽出
プロンプト・テンプレートの評価と追跡に関するビデオを見る
このチュートリアルのステップをプレビューするには、このビデオをご覧ください。 ビデオで紹介されているユーザー・インターフェースには若干の違いがあるかもしれません。 このビデオは、書面でのチュートリアルに付随するものです。
このビデオは、このドキュメントのコンセプトタスクを学ぶための視覚的な方法を提供します。
プロンプト・テンプレートの評価と追跡に関するチュートリアルをお試しください
このチュートリアルでは、以下のタスクを実行します：
- タスク1：ワークスペースを作成する
- タスク2：インベントリーとAIユースケースの作成
- タスク3：サンプルプロンプトテンプレートを評価する
- タスク4：プロンプトテンプレートのトラッキングを開始する
- タスク5：検証のために追跡された資産インポートする
- タスク6：プロンプトテンプレートの検証
- タスク7：プロンプトテンプレートの展開
このチュートリアルを完了するためのヒント
このチュートリアルを成功させるためのヒントをいくつか紹介しよう。
ビデオのピクチャー・イン・ピクチャーを使う
次のアニメーション画像は、ビデオのピクチャー・イン・ピクチャーと目次機能の使い方を示しています：
地域の助けを借りる
このチュートリアルで助けが必要な場合は、 watsonx コミュニティのディスカッションフォーラムで質問したり、答えを見つけることができます。
ブラウザのウィンドウを設定する
このチュートリアルを最適に完了させるには、1つのブラウザウィンドウで Cloud Pak for Data を開き、別のブラウザウィンドウでこのチュートリアルページを開いておくと、2つのアプリケーションを簡単に切り替えることができます。 2つのブラウザウィンドウを横に並べると、より見やすくなります。
タスク1：ワークスペースを作成する
このチュートリアルを完了するには、3つのワークスペースが必要です：
- 開発段階： 開発プロジェクト：開発、評価、追跡した資産保存するプロジェクト。
- 検証段階： 検証の準備が整った資産保管するための検証プロジェクト。
- 運用フェーズ： 検証された資産 デプロイメント保存する本番デプロイメント・スペース。
タスク 1a: サンプルに基づいて開発プロジェクトを作成する
このタスクをプレビューするには、 00:11から始まるビデオをご覧ください。
リソースハブには、評価および追跡が可能なプロンプトテンプレートのサンプルが含まれるサンプルプロジェクト（ Getting started with watsonx.governance ）が含まれています。
サンプル・プロジェクトを作成する
以下の手順に従って、サンプルに基づいた開発プロジェクトを作成してください：
ホーム画面で、 新規プロジェクトの作成アイコン
をクリックします。サンプルを選択する。
を検索して、そのサンプル・プロジェクトを選択し、「 Next 」をクリックします。既存の オブジェクト・ストレージ・サービス・インスタンス を選択するか、または新規作成します。
「作成」 をクリックします。
プロジェクトのインポートが完了したら、 View new projectをクリックします。
詳細またはビデオについては、 プロジェクトの作成をご覧ください。
watsonx.ai ランタイムをプロジェクトに関連付ける
以下の手順に従って、 watsonx.ai Runtime サービスをサンプル・プロジェクトに関連付けます：
プロジェクトが開いたら、 Manage タブをクリックし、 Services and integrations ページを選択します。
IBM services タブで、 Associate serviceをクリックする。
watsonx.ai Runtimeインスタンスを選択します。 watsonx.ai Runtimeサービス・インスタンスがまだプロビジョニングされていない場合は、以下の手順に従ってください：
新しいサービスをクリックします。
watsonx.ai ランタイムを選択する。
「作成」 をクリックします。
リストから新しいサービス・インスタンスを選択する。
Associate serviceをクリックします。
必要であれば、 [キャンセル] をクリックして[ サービスと統合] ページに戻ります。
プロジェクトの 資産 タブをクリックすると、 資産表示されます。
関連サービスの詳細については、 関連サービスの追加を参照してください。
watsonx.ai Runtimeサービスの詳細については、 watsonx.ai Runtimeを参照してください。
進捗状況の確認
次の図は、開発プロジェクトの「 資産 」タブを示しています。 これで、インベントリーとAIのユースケースを作成する準備が整いました。
タスク 1b: 検証プロジェクトの作成
このタスクをプレビューするには、 00:44から始まるビデオをご覧ください。
通常、プロンプト・エンジニアがテストデータを使ってプロンプトを評価し、バリデーション・エンジニアがプロンプトを検証する。 バリデーション・エンジニアは、プロンプト・エンジニアにはないバリデーション・データにアクセスできる。 この場合、検証データは別のプロジェクトで発生する。 以下の手順に従って、空のプロジェクトを作成してください。 その後、開発プロジェクトから検証プロジェクトに資産インポートします。
- Navigation Menu
から、 Projects > View all projects を選択します。 - 「プロジェクト」ページで、「新しいプロジェクト」をクリックします。
- プロジェクト名には
- 「作成」 をクリックします。
- タスク 1a と同じ手順に従って、 watsonx.ai ランタイムサービスを検証プロジェクトに関連付けます。
- 資産 タブをクリックすると、空のプロジェクトが表示されます。
進捗状況の確認
次の図は空の検証プロジェクトです。
タスク 1c: デプロイメント・スペース作成
このタスクをプレビューするには、 01:16から始まるビデオをご覧ください。
後でプロンプト テンプレートをそのデプロイメント・スペース昇格できるように、今すぐデプロイメント・スペース作成する必要があります。 以下の手順に従って、 デプロイメント・スペース作成します：
ナビゲーションメニュー
から、 デプロイメント を選択する。新規デプロイメント・スペースをクリックしてください。
スペース名には、以下のテキストをコピー＆ペーストしてください：
デプロイメント段階 では、 製造 を選択する。
重要だ： デプロイメント 評価段階 から に移したい場合は、 に を選択する必要があります。 運営ステージ デプロイメント段階 製造リストから機械学習サービスを選択する。
「作成」 をクリックします。
スペースが作成されたら、「 新しいスペースの表示 」をクリックします。
進捗状況の確認
次の図は、 デプロイメント・スペースいる。
タスク2：インベントリーとAIユースケースの作成
インベントリーは、AIのユースケースを保存し、レビューするためのものだ。 AIユースケースは、組織が追跡しているAI 資産ガバナンス情報を収集する。 すべてのAIユースケースをインベントリで見ることができる。
タスク 2a: インベントリーの作成
このタスクをプレビューするには、 01:45から始まるビデオをご覧ください。
以下の手順に従って、インベントリーを作成してください：
Navigation Menu
から、 AI governance > Inventories を選択する。 既存のインベントリがある場合は、そのインベントリを使用するために新しい AI ユースケースの作成にスキップします。プロンプトが表示されたら、 Complete setupをクリックします。 デフォルトのインベントリーが設定されていない場合、このオプションが表示されます。 デフォルト・インベントリの作成] ウィンドウで、 Cloud Object Storage インスタンスを選択し、[ 作成] をクリックします。
インベントリ] ページで、[ 新規インベントリ] をクリックします。
名前には、以下のテキストをコピー＆ペーストしてください：
説明文は、以下のテキストをコピー＆ペーストしてください：
作成後に共同作業者を追加 ]オプションをオフにします。 インベントリーとAIユースケースレベルでアクセスを制限することができます。
リストから Cloud Object Storage インスタンスを選択する。
「作成」 をクリックします。
進捗状況の確認
以下の画像は在庫を示す。 これでAIのユースケースを作成する準備が整った。
タスク 2b: AIユースケースの作成
このタスクをプレビューするには、 02:08から始まるビデオをご覧ください。
AIのユースケースとは、AIの助けを借りて解決できるビジネス上の問題を定義したものです。 通常、これらはAI 資産開発される前に定義される。 以下の手順に従って、AIのユースケースを作成してください：
- ナビゲーションメニュー から、 AIガバナンス > AIユースケースを選択する。
- 新しいAIユースケースをクリックします。
- 名前には、以下のテキストをコピー＆ペーストしてください：
- ゴールデンバンク保険在庫またはその他の既存在庫を選択します。
- 残りのフィールドのデフォルト値を受け入れるには、「 作成 」をクリックします。
- AIユースケースを初めて使用する場合は、機能を設定するよう促されます。 Begin をクリックし、 Go to AI use case をクリックする。
進捗状況の確認
次の画像はAIの使用例である。
タスク 2c: ワークスペースとユースケースの関連付け
このタスクをプレビューするには、 02:29から始まるビデオをご覧ください。
以下の手順に従って、ワークスペースをこのユースケースに関連付けます：
- 関連ワークスペースのセクションまでスクロールします。
- 開発フェーズの下で、[ ワークスペースの関連付け ]をクリックします。
- Getting started with watsonx.governance プロジェクトを選択する。
- 保存 をクリックします。
- 検証] フェーズで、[ ワークスペースの関連付け ] をクリックします。
- Validationプロジェクトを選択する。
- 保存 をクリックします。
- 操作フェーズの [ ワークスペースの関連付け ] をクリックします。
- 保険金請求デプロイメント・スペース を選択する。
- 保存 をクリックします。
進捗状況の確認
次の図は、AIユースケースと関連するすべてのワークスペースを示している。
タスク3：サンプルプロンプトテンプレートを評価する
サンプルプロジェクトには、いくつかのプロンプトテンプレートとテストデータとして使用されるCSVファイルが含まれています。 以下のタスクを完了し、サンプルプロンプトテンプレートのいずれかを評価します。
タスク 3a: サンプルプロンプトテンプレートを Prompt Lab
このタスクをプレビューするには、 03:02から始まるビデオをご覧ください。
以下の手順に従って、プロンプトテンプレートを表示し、その構成を確認してください：
Navigation Menu
から、 Projects > View all projects を選択します。Getting started with watsonx.governance プロジェクトを選択する。
「資産」タブをクリックします。
保険金請求の要約 」をクリックして、 Prompt Lab でプロンプト・テンプレートを開き、「 編集 」をクリックする。
プロンプト変数アイコン
をクリックします。注： 評価を実行するには、少なくとも1つのプロンプト変数を作成する必要があります。トライのセクションまでスクロールしてください。 入力フィールドの変数
{input}
進捗状況の確認
次の画像は、 Prompt Lab。
タスク 3b: プロンプトテンプレートを評価する
このタスクをプレビューするには、 03:24から始まるビデオをご覧ください。
これでプロンプト・テンプレートを評価する準備ができた。
- 評価アイコン
をクリックします。 - Generative AI Qualityと Model Healthのセクションを展開すると、ディメンションのリストが表示されます。 利用可能なメトリクスは、プロンプトのタスク・タイプによって異なります。 例えば、要約は分類とは異なる測定基準を持つ。
- 次へ をクリックします。
- テストデータを選択します：
- プロジェクトから選択をクリックします。
- Project file > Insurance claim summarization test data.csv を選択する。
- 「選択」をクリックします。
- Input "列で " Insurance_Claim " を選択する。
- Reference出力の列で、 Summaryを選択する。
- 次へ をクリックします。
- 評価する 」をクリックする。 評価は数分で完了します。 評価が完了すると、 「評価」 タブにテスト結果が表示されます。 このページには、この評価実行に関する詳細情報が表示されるため、モデルのパフォーマンスに関する洞察を得ることができます。 サマリーには、プロンプトテンプレート評価のメトリックスコアおよびデフォルトスコアのしきい値違反の概要が表示されます。
- AI ファクトシート タブをクリックする。
- タブの各セクションの情報を見る。
- 開発 > Getting started with watsonx.governance > テスト結果] をクリックし、テスト結果を再度確認する。
進捗状況の確認
次の画像は評価結果である。 これで、AIのユースケースでプロンプト・テンプレートの追跡を開始できる。
タスク4：プロンプトテンプレートのトラッキングを開始する
このタスクをプレビューするには、 04:24から始まるビデオをご覧ください。
AIユースケースでプロンプト・テンプレートを追跡し、開発・テストプロセスを同僚に報告することができます。 以下の手順に従って、プロンプトテンプレートのトラッキングを開始してください：
- AI ファクトシート タブで、 ガバナンス ページをクリックする。
- AIの使用例でトラックをクリックする。
- 関連するAIのユースケースが保険金請求処理AIのユースケースであることに注目してほしい。
- アプローチを選択する。 アプローチとは、AIのユースケースが示すビジネス上の問題に対する解決策の一面である。 たとえば、1つのユースケースで複数のプロンプトテンプレートを追跡するための アプローチを作成することができる。
- 次へ をクリックします。
- モデルのバージョンは Experimentalを選択。
- バージョン番号のデフォルト値を受け入れる。
- 次へ をクリックします。
- 情報を確認し、 トラック資産 をクリックする。
- モデル追跡が正常に開始されたら、 詳細を表示アイコン
をクリックし、AIユースケースを開きます。 - ライフサイクル] タブをクリックすると、プロンプトテンプレートが開発フェーズにあることがわかります。 プロンプト・テンプレートがAIのライフサイクルを進むにつれて、これらの段階を経ることになる：
- 開発段階：プロジェクト環境で開発されたAI 資産。
- 検証段階：検証のために空間やプロジェクトに配置されたAI 資産。
- 作戦段階：作戦のために空間に配置されたAI 資産。
進捗状況の確認
次の図は、AIユースケースのライフサイクルタブで、開発フェーズのプロンプトテンプレートを示しています。 これで検証段階に進む準備が整いました。
タスク5：検証のために追跡された資産インポートする
タスク1で述べたように、通常、プロンプトエンジニアがテストデータを用いてプロンプトを評価し、バリデーションエンジニアがプロンプトを検証する。 バリデーション・エンジニアは、プロンプト・エンジニアにはないバリデーション・データにアクセスできる。 この場合、検証データは別のプロジェクトで発生する。 次の手順に従って開発プロジェクトをエクスポートし、その資産タスク 1 で作成した検証プロジェクトにインポートして、 資産 AI ライフサイクルの検証フェーズに移動します。
タスク 5a: サンプルプロジェクトをエクスポートする
このタスクをプレビューするには、 05:07から始まるビデオをご覧ください。
以下の手順に従って、開発プロジェクトをエクスポートしてください：
- Navigation Menu から、 Projects > View all projects を選択します。
- Getting started with watsonx.governance プロジェクトを選択する。
- Import/Export アイコン
> Export project をクリックします。 - すべての資産選択するには、チェックボックスをオンにします。
- 「エクスポート」をクリックします。
- 資産クレデンシャルが含まれている可能性があることを確認するには、「 Continue export 」をクリックします。
- プロジェクトファイル名の入力を求められるので、
と入力し、 Save をクリックする。 - プロジェクトのエクスポートが完了したら、 Back to projectをクリックします。
進捗状況の確認
次の画像はプロジェクトのエクスポートページです。
タスク 5b: 資産検証プロジェクトにインポートする
このタスクをプレビューするには、 05:28から始まるビデオをご覧ください。
以下の手順に従って、開発プロジェクトから検証プロジェクトに資産インポートしてください：
- Navigation Menu から、 Projects > View all projects を選択します。
- バリデーションプロジェクトを開く。
- インポート/エクスポートアイコン > プロジェクトをインポート をクリックします。
- 参照」をクリックする。
- を選択し validation-project.zip を選択し、「 開く 」をクリックする。
- 同意を示すオプションを選択する： 資産タイプによっては、同じ名前とタイプを持つ既存のアセットは上書きされることは理解しています.
- インポート をクリックします。
- 資産正常にインポートされたら、 Refresh アイコン（
）をクリックして、インポートされた資産確認します。
進捗状況の確認
次の図は、検証プロジェクトの 資産 タブを示しています。 これで、検証プロジェクトでサンプルプロンプトテンプレートを評価する準備ができました。
タスク6：プロンプトテンプレートの検証
このタスクをプレビューするには、 05:41から始まるビデオをご覧ください。
これで、この検証プロジェクトのプロンプトテンプレートを、前回と同じ評価プロセスで評価する準備ができた。 評価には同じテストデータセットを使用する。 そして、先ほどと同じInput列とOutput列を選択する。 以下の手順に従って、プロンプトテンプレートを検証してください：
- 検証プロジェクト の 資産 タブをクリックする。
- 保険金請求要約プロンプトテンプレートのオーバーフローメニュー
から、 「評価 」を選択します。 - 評価を開始するには、 「評価」をクリックします。
- タスク 3a: 「プロンプトテンプレートの評価 」の手順を繰り返して、 検証プロジ ェクトの 請求処理要約プロンプトテンプレートを評価します。
- 評価が完了したら、 AI ファクトシート タブをクリックします。
- 両方のテスト結果を見る：
- Development > Getting started with watsonx.governance > Test results.
- Validation > Validation project > Test results の順にクリックします。
進捗状況の確認
次の画像は、検証テストの結果である。 これで、プロンプトテンプレートをデプロイメント・スペース昇格し、プロンプトテンプレートを配置する準備が整いました。
タスク7：プロンプトテンプレートの展開
プロンプトテンプレートを配置するには、タスク1で作成したデプロイメント・スペースプロモートする必要があります。 次に、 デプロイメント・スペース デプロイメント作成し、デプロイされたプロンプトテンプレートをテストできます。
タスク 7a: プロンプトテンプレートをデプロイメント・スペースプロモートする
このタスクをプレビューするには、 06:14から始まるビデオをご覧ください。
プロンプトテンプレートを配置する準備として、プロンプトテンプレートをデプロイメント・スペース昇格します。 以下の手順に従って、プロンプトテンプレートを作成してください：
ナビゲーション・トレイルで検証プロジェクトをクリックする。
保険金請求の要約 プロンプトテンプレートの オーバーフロー メニュー
から、 スペースへのプロモート を選択する。ターゲット・スペース では、 保険金請求デプロイメント・スペース を選択する。
プロンプトテンプレートを推進した後のスペースで、プロンプトテンプレートに移動するオプションをチェックします。
プロモートをクリックします。
進捗状況の確認
次の図は、 デプロイメント・スペースプロンプトテンプレートを示している。 これでデプロイメント作成する準備ができました。
タスク 7b: プロンプト・テンプレートのデプロイ
このタスクをプレビューするには、 06:33から始まるビデオをご覧ください。
これで、 デプロイメント・スペース内からプロンプト テンプレートのオンラインデプロイメント作成できます。 以下の手順に従って、 デプロイメント作成します：
デプロイメント・スペース 保険金請求の要約 資産ページから、 デプロイメント を選択します。
デプロイメント名には、以下のテキストをコピーして貼り付けます：
Insurance claims summarization deployment「作成」 をクリックします。
進捗状況の確認
次の図は、配置されたプロンプトテンプレートを示している。
タスク 7c: 配備されたプロンプトテンプレートの表示
このタスクをプレビューするには、 06:47から始まるビデオをご覧ください。
展開されたプロンプトテンプレートをライフサイクルの現在のフェーズで表示するには、以下の手順に従います：
- 準備ができたら、 デプロイメント表示します。 API リファレンス ]タブには、アプリケーションでプロンプト テンプレートのデプロイメント使用するための情報が記載されています。
- Test タブをクリックする。 Test] タブでは、 デプロイメントテストするための指示と入力を送信できます。
- 生成 」をクリックする。 結果ウィンドウを閉じる。
- AI ファクトシート タブをクリックする。
- AI ファクトシート 、ページ下部までスクロールし、矢印をクリックすると詳細が表示される。
- 開発、 バリデーション、 オペレーション の各フェーズで、展開されたプロンプトテンプレートの AI ファクトシート の情報を確認する。
- ページの一番上までスクロールし、「 詳細を表示」 アイコン（ ）をクリックして、AIユースケースを開きます。
- ユースケースで、 ライフサイクルタブをクリックします。 プロンプト・テンプレートが現在オペレーション・ フェーズにあることがわかる。
- 操作フェーズの保険金請求要約プロンプト・テンプレートをクリックする。 完了したら、 「キャンセル 」をクリックする。
- オペレーション フェーズで 保険金請求の要約のデプロイメント プロンプトテンプレートのデプロイメントクリックする。 完了したら、 「キャンセル 」をクリックする。
進捗状況の確認
次の図は、ライフサイクルのOperationフェーズにおけるプロンプト・テンプレート prompt templateを示している。
次のステップ
他のチュートリアルを試してみてください：
その他のリソース
詳しくは、 ビデオを参照してください。
サンプルデータセット、プロジェクト、モデル、プロンプト、ノートブックをリソースハブで見つけて、実践的な経験を積むことができます：
ノートブックをプロジェクトに追加することで、データの分析やモデルの構築を始めることができます。
ノートブック、データセット、プロンプト、その他の資産含むインポート可能なプロジェクト。
プロジェクトに追加して、モデルを改良、分析、構築できるデータセット。
プロンプト 。プロンプト・ラボで基盤モデルのプロンプトを出すために使用できます。プロンプト・ラボで使用できる
基盤モデル 。
親トピック クイックスタートチュートリアル
前提条件
コンテンツ草案 - レビューサーバーのタスク
タスク 1
このチュートリアルを完了するには、3つのワークスペースが必要です：
- 開発段階： 開発プロジェクト：開発、評価、追跡した資産保存するプロジェクト。
- 検証段階： 検証の準備が整った資産保管するための検証プロジェクト。
- 運用フェーズ： 検証された資産 デプロイメント保存する本番デプロイメント・スペース。
タスク 1a: サンプルに基づいて開発プロジェクトを作成する
このタスクをプレビューするには、 00:11から始まるビデオをご覧ください。
リソースハブには、評価および追跡が可能なプロンプトテンプレートのサンプルが含まれるサンプルプロジェクト（ Getting started with watsonx.governance ）が含まれています。
サンプル・プロジェクトを作成する
以下の手順に従って、サンプルに基づいた開発プロジェクトを作成してください：
ホーム画面で、 新規プロジェクトの作成アイコン
をクリックします。サンプルを選択する。
を検索して、そのサンプル・プロジェクトを選択し、「 Next 」をクリックします。既存の オブジェクト・ストレージ・サービス・インスタンス を選択するか、または新規作成します。
「作成」 をクリックします。
プロジェクトのインポートが完了したら、 View new projectをクリックします。
詳細またはビデオについては、 プロジェクトの作成をご覧ください。
watsonx.ai ランタイムをプロジェクトに関連付ける
以下の手順に従って、 watsonx.ai Runtime サービスをサンプル・プロジェクトに関連付けます：
プロジェクトが開いたら、 Manage タブをクリックし、 Services and integrations ページを選択します。
IBM services タブで、 Associate serviceをクリックする。
watsonx.ai Runtimeインスタンスを選択します。 watsonx.ai Runtimeサービス・インスタンスがまだプロビジョニングされていない場合は、以下の手順に従ってください：
新しいサービスをクリックします。
watsonx.ai ランタイムを選択する。
「作成」 をクリックします。
リストから新しいサービス・インスタンスを選択する。
Associate serviceをクリックします。
必要であれば、 [キャンセル] をクリックして[ サービスと統合] ページに戻ります。
プロジェクトの 資産 タブをクリックすると、 資産表示されます。
関連サービスの詳細については、 関連サービスの追加を参照してください。
watsonx.ai Runtimeサービスの詳細については、 watsonx.ai Runtimeを参照してください。
進捗状況の確認
次の図は、開発プロジェクトの「 資産 」タブを示しています。 これで、インベントリーとAIのユースケースを作成する準備が整いました。
タスク 1b: 検証プロジェクトの作成
このタスクをプレビューするには、 00:44から始まるビデオをご覧ください。
通常、プロンプト・エンジニアがテストデータを使ってプロンプトを評価し、バリデーション・エンジニアがプロンプトを検証する。 バリデーション・エンジニアは、プロンプト・エンジニアにはないバリデーション・データにアクセスできる。 この場合、検証データは別のプロジェクトで発生する。 以下の手順に従って、空のプロジェクトを作成してください。 その後、開発プロジェクトから検証プロジェクトに資産インポートします。
- Navigation Menu から、 Projects > View all projects を選択します。
- 「プロジェクト」ページで、「新しいプロジェクト」をクリックします。
- プロジェクト名には
- 「作成」 をクリックします。
- タスク 1a と同じ手順に従って、 watsonx.ai ランタイムサービスを検証プロジェクトに関連付けます。
- 資産 タブをクリックすると、空のプロジェクトが表示されます。
進捗状況の確認
次の図は空の検証プロジェクトです。
タスク 1c: デプロイメント・スペース作成
このタスクをプレビューするには、 01:16から始まるビデオをご覧ください。
後でプロンプト テンプレートをそのデプロイメント・スペース昇格できるように、今すぐデプロイメント・スペース作成する必要があります。 以下の手順に従って、 デプロイメント・スペース作成します：
ナビゲーションメニュー
から、 デプロイメント を選択する。新規デプロイメント・スペースをクリックしてください。
スペース名には、以下のテキストをコピー＆ペーストしてください：
デプロイメント段階 では、 製造 を選択する。
重要だ： デプロイメント 評価段階 から に移したい場合は、 に を選択する必要があります。 運営ステージ デプロイメント段階 製造リストから機械学習サービスを選択する。
「作成」 をクリックします。
スペースが作成されたら、「 新しいスペースの表示 」をクリックします。
進捗状況の確認
次の図は、 デプロイメント・スペースいる。
タスク 2
インベントリーは、AIのユースケースを保存し、レビューするためのものだ。 AIユースケースは、組織が追跡しているAI 資産ガバナンス情報を収集する。 すべてのAIユースケースをインベントリで見ることができる。
タスク 2a: インベントリーの作成
このタスクをプレビューするには、 01:45から始まるビデオをご覧ください。
以下の手順に従って、インベントリーを作成してください：
Navigation Menu
から、 AI governance > Inventories を選択する。 既存のインベントリがある場合は、そのインベントリを使用するために新しい AI ユースケースの作成にスキップします。プロンプトが表示されたら、 Complete setupをクリックします。 デフォルトのインベントリーが設定されていない場合、このオプションが表示されます。 デフォルト・インベントリの作成] ウィンドウで、 Cloud Object Storage インスタンスを選択し、[ 作成] をクリックします。
インベントリ] ページで、[ 新規インベントリ] をクリックします。
名前には、以下のテキストをコピー＆ペーストしてください：
説明文は、以下のテキストをコピー＆ペーストしてください：
作成後に共同作業者を追加 ]オプションをオフにします。 インベントリーとAIユースケースレベルでアクセスを制限することができます。
リストから Cloud Object Storage インスタンスを選択する。
「作成」 をクリックします。
進捗状況の確認
以下の画像は在庫を示す。 これでAIのユースケースを作成する準備が整った。
タスク 2b: AIユースケースの作成
このタスクをプレビューするには、 02:08から始まるビデオをご覧ください。
AIのユースケースとは、AIの助けを借りて解決できるビジネス上の問題を定義したものです。 通常、これらはAI 資産開発される前に定義される。 以下の手順に従って、AIのユースケースを作成してください：
- ナビゲーションメニュー から、 AIガバナンス > AIユースケースを選択する。
- 新しいAIユースケースをクリックします。
- 名前には、以下のテキストをコピー＆ペーストしてください：
- ゴールデンバンク保険在庫またはその他の既存在庫を選択します。
- 残りのフィールドのデフォルト値を受け入れるには、「 作成 」をクリックします。
- AIユースケースを初めて使用する場合は、機能を設定するよう促されます。 Begin をクリックし、 Go to AI use case をクリックする。
進捗状況の確認
次の画像はAIの使用例である。
タスク 2c: ワークスペースとユースケースの関連付け
このタスクをプレビューするには、 02:29から始まるビデオをご覧ください。
以下の手順に従って、ワークスペースをこのユースケースに関連付けます：
- 関連ワークスペースのセクションまでスクロールします。
- 開発フェーズの下で、[ ワークスペースの関連付け ]をクリックします。
- Getting started with watsonx.governance プロジェクトを選択する。
- 保存 をクリックします。
- 検証] フェーズで、[ ワークスペースの関連付け ] をクリックします。
- Validationプロジェクトを選択する。
- 保存 をクリックします。
- 操作フェーズの [ ワークスペースの関連付け ] をクリックします。
- 保険金請求デプロイメント・スペース を選択する。
- 保存 をクリックします。
進捗状況の確認
次の図は、AIユースケースと関連するすべてのワークスペースを示している。
タスク 3
サンプルプロジェクトには、いくつかのプロンプトテンプレートとテストデータとして使用されるCSVファイルが含まれています。 以下のタスクを完了し、サンプルプロンプトテンプレートのいずれかを評価します。
タスク 3a: サンプルプロンプトテンプレートを Prompt Lab
このタスクをプレビューするには、 03:02から始まるビデオをご覧ください。
以下の手順に従って、プロンプトテンプレートを表示し、その構成を確認してください：
Navigation Menu
から、 Projects > View all projects を選択します。Getting started with watsonx.governance プロジェクトを選択する。
「資産」タブをクリックします。
保険金請求の要約 」をクリックして、 Prompt Lab でプロンプト・テンプレートを開き、「 編集 」をクリックする。
プロンプト変数アイコン
をクリックします。注： 評価を実行するには、少なくとも1つのプロンプト変数を作成する必要があります。トライのセクションまでスクロールしてください。 入力フィールドの変数
{input}
進捗状況の確認
次の画像は、 Prompt Lab。
タスク 3b: プロンプトテンプレートを評価する
このタスクをプレビューするには、 03:24から始まるビデオをご覧ください。
これでプロンプト・テンプレートを評価する準備ができた。
- 評価アイコン をクリックします。
- Generative AI Qualityと Model Healthのセクションを展開すると、ディメンションのリストが表示されます。 利用可能なメトリクスは、プロンプトのタスク・タイプによって異なります。 例えば、要約は分類とは異なる測定基準を持つ。
- 次へ をクリックします。
- テストデータを選択します：
- プロジェクトから選択をクリックします。
- Project file > Insurance claim summarization test data.csv を選択する。
- 「選択」をクリックします。
- Input "列で " Insurance_Claim " を選択する。
- Reference出力の列で、 Summaryを選択する。
- 次へ をクリックします。
- 評価する 」をクリックする。 評価は数分で完了します。 評価が完了すると、 「評価」 タブにテスト結果が表示されます。 このページには、この評価実行に関する詳細情報が表示されるため、モデルのパフォーマンスに関する洞察を得ることができます。 サマリーには、プロンプトテンプレート評価のメトリックスコアおよびデフォルトスコアのしきい値違反の概要が表示されます。
- AI ファクトシート タブをクリックする。
- タブの各セクションの情報を見る。
- 開発 > Getting started with watsonx.governance > テスト結果] をクリックし、テスト結果を再度確認する。
進捗状況の確認
次の画像は評価結果である。 これで、AIのユースケースでプロンプト・テンプレートの追跡を開始できる。
タスク 4
このタスクをプレビューするには、 04:24から始まるビデオをご覧ください。
AIユースケースでプロンプト・テンプレートを追跡し、開発・テストプロセスを同僚に報告することができます。 以下の手順に従って、プロンプトテンプレートのトラッキングを開始してください：
- AI ファクトシート タブで、 ガバナンス ページをクリックする。
- AIの使用例でトラックをクリックする。
- 関連するAIのユースケースが保険金請求処理AIのユースケースであることに注目してほしい。
- アプローチを選択する。 アプローチとは、AIのユースケースが示すビジネス上の問題に対する解決策の一面である。 たとえば、1つのユースケースで複数のプロンプトテンプレートを追跡するための アプローチを作成することができる。
- 次へ をクリックします。
- モデルのバージョンは Experimentalを選択。
- バージョン番号のデフォルト値を受け入れる。
- 次へ をクリックします。
- 情報を確認し、 トラック資産 をクリックする。
- モデル追跡が正常に開始されたら、 詳細を表示アイコン をクリックし、AIユースケースを開きます。
- ライフサイクル] タブをクリックすると、プロンプトテンプレートが開発フェーズにあることがわかります。 プロンプト・テンプレートがAIのライフサイクルを進むにつれて、これらの段階を経ることになる：
- 開発段階：プロジェクト環境で開発されたAI 資産。
- 検証段階：検証のために空間やプロジェクトに配置されたAI 資産。
- 作戦段階：作戦のために空間に配置されたAI 資産。
進捗状況の確認
次の図は、AIユースケースのライフサイクルタブで、開発フェーズのプロンプトテンプレートを示しています。 これで検証段階に進む準備が整いました。
タスク 5
タスク1で述べたように、通常、プロンプトエンジニアがテストデータを用いてプロンプトを評価し、バリデーションエンジニアがプロンプトを検証する。 バリデーション・エンジニアは、プロンプト・エンジニアにはないバリデーション・データにアクセスできる。 この場合、検証データは別のプロジェクトで発生する。 次の手順に従って開発プロジェクトをエクスポートし、その資産タスク 1 で作成した検証プロジェクトにインポートして、 資産 AI ライフサイクルの検証フェーズに移動します。
タスク 5a: サンプルプロジェクトをエクスポートする
このタスクをプレビューするには、 05:07から始まるビデオをご覧ください。
以下の手順に従って、開発プロジェクトをエクスポートしてください：
- Navigation Menu から、 Projects > View all projects を選択します。
- Getting started with watsonx.governance プロジェクトを選択する。
- Import/Export アイコン > Export project をクリックします。
- すべての資産選択するには、チェックボックスをオンにします。
- 「エクスポート」をクリックします。
- 資産クレデンシャルが含まれている可能性があることを確認するには、「 Continue export 」をクリックします。
- プロジェクトファイル名の入力を求められるので、
と入力し、 Save をクリックする。 - プロジェクトのエクスポートが完了したら、 Back to projectをクリックします。
進捗状況の確認
次の画像はプロジェクトのエクスポートページです。
タスク 5b: 資産検証プロジェクトにインポートする
このタスクをプレビューするには、 05:28から始まるビデオをご覧ください。
以下の手順に従って、開発プロジェクトから検証プロジェクトに資産インポートしてください：
- Navigation Menu から、 Projects > View all projects を選択します。
- バリデーションプロジェクトを開く。
- インポート/エクスポートアイコン > プロジェクトをインポート をクリックします。
- 参照」をクリックする。
- を選択し validation-project.zip を選択し、「 開く 」をクリックする。
- 同意を示すオプションを選択する： 資産タイプによっては、同じ名前とタイプを持つ既存のアセットは上書きされることは理解しています.
- インポート をクリックします。
- 資産正常にインポートされたら、 Refresh アイコン（ ）をクリックして、インポートされた資産確認します。
進捗状況の確認
次の図は、検証プロジェクトの 資産 タブを示しています。 これで、検証プロジェクトでサンプルプロンプトテンプレートを評価する準備ができました。
タスク 6
このタスクをプレビューするには、 05:41から始まるビデオをご覧ください。
これで、この検証プロジェクトのプロンプトテンプレートを、前回と同じ評価プロセスで評価する準備ができた。 評価には同じテストデータセットを使用する。 そして、先ほどと同じInput列とOutput列を選択する。 以下の手順に従って、プロンプトテンプレートを検証してください：
- 検証プロジェクト の 資産 タブをクリックする。
- 保険金請求要約プロンプトテンプレートのオーバーフローメニュー から、 「評価 」を選択します。
- 評価を開始するには、 「評価」をクリックします。
- タスク 3a: 「プロンプトテンプレートの評価 」の手順を繰り返して、 検証プロジ ェクトの 請求処理要約プロンプトテンプレートを評価します。
- 評価が完了したら、 AI ファクトシート タブをクリックします。
- 両方のテスト結果を見る：
- Development > Getting started with watsonx.governance > Test results.
- Validation > Validation project > Test results の順にクリックします。
進捗状況の確認
次の画像は、検証テストの結果である。 これで、プロンプトテンプレートをデプロイメント・スペース昇格し、プロンプトテンプレートを配置する準備が整いました。
タスク 7
プロンプトテンプレートを配置するには、タスク1で作成したデプロイメント・スペースプロモートする必要があります。 次に、 デプロイメント・スペース デプロイメント作成し、デプロイされたプロンプトテンプレートをテストできます。
タスク 7a: プロンプトテンプレートをデプロイメント・スペースプロモートする
このタスクをプレビューするには、 06:14から始まるビデオをご覧ください。
プロンプトテンプレートを配置する準備として、プロンプトテンプレートをデプロイメント・スペース昇格します。 以下の手順に従って、プロンプトテンプレートを作成してください：
ナビゲーション・トレイルで検証プロジェクトをクリックする。
保険金請求の要約 プロンプトテンプレートの オーバーフロー メニュー
から、 スペースへのプロモート を選択する。ターゲット・スペース では、 保険金請求デプロイメント・スペース を選択する。
プロンプトテンプレートを推進した後のスペースで、プロンプトテンプレートに移動するオプションをチェックします。
プロモートをクリックします。
進捗状況の確認
次の図は、 デプロイメント・スペースプロンプトテンプレートを示している。 これでデプロイメント作成する準備ができました。
タスク 7b: プロンプト・テンプレートのデプロイ
このタスクをプレビューするには、 06:33から始まるビデオをご覧ください。
これで、 デプロイメント・スペース内からプロンプト テンプレートのオンラインデプロイメント作成できます。 以下の手順に従って、 デプロイメント作成します：
デプロイメント・スペース 保険金請求の要約 資産ページから、 デプロイメント を選択します。
デプロイメント名には、以下のテキストをコピーして貼り付けます：
Insurance claims summarization deployment「作成」 をクリックします。
進捗状況の確認
次の図は、配置されたプロンプトテンプレートを示している。
タスク 7c: 配備されたプロンプトテンプレートの表示
このタスクをプレビューするには、 06:47から始まるビデオをご覧ください。
展開されたプロンプトテンプレートをライフサイクルの現在のフェーズで表示するには、以下の手順に従います：
- 準備ができたら、 デプロイメント表示します。 API リファレンス ]タブには、アプリケーションでプロンプト テンプレートのデプロイメント使用するための情報が記載されています。
- Test タブをクリックする。 Test] タブでは、 デプロイメントテストするための指示と入力を送信できます。
- 生成 」をクリックする。 結果ウィンドウを閉じる。
- AI ファクトシート タブをクリックする。
- AI ファクトシート 、ページ下部までスクロールし、矢印をクリックすると詳細が表示される。
- 開発、 バリデーション、 オペレーション の各フェーズで、展開されたプロンプトテンプレートの AI ファクトシート の情報を確認する。
- ページの一番上までスクロールし、「 詳細を表示」 アイコン（ ）をクリックして、AIユースケースを開きます。
- ユースケースで、 ライフサイクルタブをクリックします。 プロンプト・テンプレートが現在オペレーション・ フェーズにあることがわかる。
- 操作フェーズの保険金請求要約プロンプト・テンプレートをクリックする。 完了したら、 「キャンセル 」をクリックする。
- オペレーション フェーズで 保険金請求の要約のデプロイメント プロンプトテンプレートのデプロイメントクリックする。 完了したら、 「キャンセル 」をクリックする。
進捗状況の確認
次の図は、ライフサイクルのOperationフェーズにおけるプロンプト・テンプレート prompt templateを示している。