品質評価を設定し、モデル予測の変更を判断できるようにするには、watsonx.governanceでフィードバックデータを提供する必要があります。
フィードバック・データを提供すると、モデル予測の正確度を定期的に評価することができます。
フィードバック・ロギング
あなたが提供したフィードバックデータは、フィードバックログテーブルにレコードとして保存されます。
フィードバックデータには、トレーニングデータと同じ構造の特徴列と予測列が含まれている必要があります。 データには、既知のモデル結果も含まれている必要があります。 あなたが提供したフィードバックデータのうち、トレーニングデータに含まれていない列は処理されません。
品質およびジェネレーティブAIの品質評価を設定するには、フィードバックデータをフィードバックロギングテーブルに記録する必要があります。 フィードバック・ロギング・テーブルには、プロンプト・テンプレートを評価するときに以下の列が含まれています。
- 必要な列:
- プロンプト変数: プロンプト・テンプレート用に作成された変数の値が含まれます。
reference_output: グランドトゥルース値が含まれます。
- オプションの列:
_original_prediction:foundation modelによって生成された出力を含む
生成 AI の品質評価では、プロンプト・テンプレートを評価する際に、フィードバック・データを使用して以下のタスク・タイプの結果を生成します。
- テキストの要約
- コンテンツの生成
- 質問への回答
- エンティティー抽出
品質評価では、フィードバック・データを使用してテキスト分類タスクの結果を生成します。
フィードバック・データのアップロード
フィードバック・ロギング・エンドポイントを使用して、品質評価用のデータをアップロードできます。 CSV ファイルを使用してフィードバック・データをアップロードすることもできます。 詳しくは、 モデル・トランザクションの送信を参照してください。
プリプロダクションモデルの場合、Cloud Object StorageまたはDb22に保存されているフィードバックデータのCSVファイルに接続することができます。 詳しくは、 評価結果の確認を参照してください。