AI ユース・ケースでプロンプト・テンプレートを追跡し、資産に関する事実を収集して共有し、ガバナンスとコンプライアンスの目標を達成できるようにします。
プロンプト・テンプレートの追跡
プロンプトテンプレートは、foundation model用に保存されたプロンプト入力である。 プロンプト・テンプレートには変数を組み込むことができるため、さまざまなオプションを指定して実行することができます。 例えば、プロジェクト X の会議メモを要約するプロンプトがある場合、同じプロンプトをプロジェクト Y に対して実行できるように変数を定義することができます。
保存されたプロンプト・テンプレートを AI ユース・ケースに追加して、プロンプト・テンプレートの詳細を追跡できます。 ファセット・シートは、プロンプト・テンプレート作成情報およびソース・モデル詳細に関する詳細を記録するだけでなく、パフォーマンス・メトリックを収集するために、プロンプト・テンプレート評価からの情報を追跡します。 プロンプト・テンプレートの追跡を開始する前または後に、プロンプト・テンプレートを評価できます。
開始前に
プロンプト・テンプレートを追跡するには、以下の条件が満たされている必要があります。
- プロンプト・テンプレートを含むプロジェクトの管理者またはエディターでなければなりません。
- プロンプト・テンプレートには、少なくとも 1 つの変数が含まれている必要があります。 詳しくは、 再使用可能なプロンプトの作成を参照してください。
このビデオを視聴して、AI ユース・ケースでプロンプト・テンプレートを追跡する方法を確認してください。
このビデオは、本書の概念とタスクを学習するためのビジュアル・メソッドを提供します。
AI ユース・ケースでのプロンプト・テンプレートの追跡
プロジェクトまたはスペースから AI ユース・ケースにプロンプト・テンプレートを追加できます。
- 管理するプロンプト・テンプレートが含まれているプロジェクトまたはスペースを開きます。
- 資産のアクション・メニューから、 「AI ユース・ケースの表示 (View AI use case)」をクリックします。
- このプロンプト・テンプレートがまだ AI ユース・ケースの一部ではない場合は、 「AI ユース・ケースの追跡 (Track in AI use case)」 を求めるプロンプトが出されます。 プロンプト・テンプレートのトラッキングを開始すると、そのテンプレートはロックされ、編集できなくなります。 変更を行うには、新しいプロンプト・テンプレートを作成する必要があります。
- 既存の AI ユース・ケースを選択するか、プロンプトに従って新しい AI ユース・ケースを作成します。
- 既存のアプローチを選択するか、新しいアプローチを作成します。 アプローチは、完全なソリューションの 1 つのファセットを表します。 各アプローチでは、同じアプローチですべてのアセットのバージョン・セットが作成されます。
- バージョン番号付け方式を選択します。 1 つのアプローチ内のすべての資産は、共通のバージョンを共有します。 選択元:
- 試験的 (頻繁に更新する予定の場合)。
- 安定 -資産が急速に変化していない場合。
- 新しいバージョン番号を開始する場合は、 「カスタム」 。 バージョン番号付けは、 major.minor.patchのスキーマに従う必要があります。
トラッキングが有効になっている場合、ユース・ケースのすべてのコラボレーターがプロンプト・テンプレートの詳細を確認できます。
プロンプト・テンプレートのライフサイクル・ステージごとに詳細が取り込まれます。
- Developは、プロンプト自体、作成日、使用されているfoundation model、設定されているプロンプトパラメータ、および定義されている変数など、プロンプトがどのように定義されているかについての情報を提供する。
- 「評価」 には、プロンプト・テンプレートを評価することで得られるディメンション・メトリックが表示されます。
- 「操作」 には、プロンプト・テンプレートを実動で使用するためにデプロイする方法に関連する詳細情報が表示されます。
トラッキング・プロンプト・テンプレートの要件
ユーザーインターフェイスからガバナンスのためのプロンプトテンプレートを管理するために、以下の要件を考慮する。
- モデルのデプロイメントを参照するプロンプト・テンプレートは、モデルのデプロイメントを 作成したのと同じプロジェクトまたはスペースでのみ作成できます。 配置されたモデルを参照するテンプレートをスペースにプロモートすると、モデル資産のコピーが自動的にスペースに追加されます。 プロンプトテンプレートをデプロイする前に、スペースにモデルをデプロイする必要があります。
- デプロイされたモデルを参照するプロンプトテンプレートをエクスポートすると、関連するモデルアセットが自動的にプロンプトテンプレートと一緒にエクスポートされます。 テンプレートを新しいコンテナにインポートすると、モデルもインポートされます。 プロンプトテンプレートをデプロイする前に、モデルを新しいコンテナにデプロイする必要がある。
追跡対象プロンプト・テンプレートのファセット・シートの表示
AI ユース・ケースでプロンプト・テンプレートの名前をクリックして、関連付けられたファセット・シートを表示します。
プロンプト・テンプレートのファセット・シートは、以下のタイプのデータを収集します。
- Governance は、AI ユース・ケースの名前、説明、およびアプローチ名とバージョン・データなどの基本情報を収集します。
- Foundation modelには、foundation modelの名前、ライセンスID、モデルの発行元が表示されます。
- 「プロンプト・テンプレート」 には、プロンプト名、ID、プロンプト入力、および変数が表示されます。
- プロンプト・パラメーター は、デコード方式や停止基準など、プロンプト・テンプレートの構成オプションを収集します。
- 「評価」 には、評価からのデータ (アラートを含む) と評価からのメトリック・データが表示されます。 例えば、このプロンプト・テンプレートには、プロンプト・テンプレートの品質評価のメトリック・データが表示されます。 評価によって1つの閾値アラートがトリガーされた：'
- 「検証」 には、プロンプト・テンプレートの評価方法に関するデータが表示されます。これには、検証、トリガーされたアラート、および評価メトリック・データに使用されるデータ・セットが含まれます。
- 「添付ファイル」 には、ユース・ケースをサポートする添付ファイルに関する情報が表示されます。
ライフサイクル・ステージでのプロンプト・テンプレートの移動
プロンプト・テンプレートが追跡されると、プロンプト・テンプレートの作成、および適切なメトリックに対するパフォーマンスの評価から、詳細を確認できます。 ライフサイクルの次の段階では、プロンプト・テンプレートを _検証 します。 これには、新規データを使用したプロンプト・テンプレートのテストが含まれます。 資産の検証を担当するプロンプト・エンジニアは、以下の手順に従って、プロンプト・テンプレートを検証し、関連するファセット・シートに検証データを取り込みます。
- プロンプト・テンプレートを含むプロジェクトから、プロジェクトを圧縮 ZIP ファイルにエクスポートします。
- 新規プロジェクトを作成し、エクスポートした ZIP ファイルをそのプロジェクトに取り込みます。
- 検証データをアップロードし、プロンプト・テンプレートを評価して、結果を検証プロジェクトに保存します。
- プロジェクトから、プロンプト・テンプレートを、 「実動」 ステージとして指定されている新規または既存のデプロイメント・スペースにプロモートします。 ステージはスペースが作成されたときに割り当てられ、更新することはできないので、利用可能なプロダクションスペースがない場合は、新しいスペースを作成してください。
- プロンプト・テンプレートをデプロイメント・スペースにプロモートした後、継続的なモニターを構成できます。
- 実動スペースでプロンプト・テンプレートをモニターすることによる詳細は、AI ユース・ケースの 「Operate」 ライフサイクル・ステージに表示されます。
詳細情報
- サンプル・プロンプト・テンプレートを評価および追跡するには、チュートリアル「 クイック・スタート: プロンプト・テンプレートの評価および追跡 」に従ってください。
- 実動用のプロンプト・テンプレートの準備について詳しくは、 プロンプト・テンプレートのデプロイ を参照してください。
- 正確度などのディメンションのプロンプト・テンプレートを評価する方法、または憎悪や暴言が存在するかどうかをテストする方法について詳しくは、 プロンプト・テンプレートの評価 を参照してください。
親トピック: AI ユース・ケースでの資産のトラッキング