ペイロード・データのロギング

スコアリング要求を送信すると、 watsonx.governance はモデル評価を有効にするためにモデル・トランザクションを処理します。 Watsonx.governance は、データをスコアリングし、 watsonx.governance データマート内のペイロード・ロギング・テーブルにレコードとして保管します。

ペイロード・ロギング・テーブルには、プロンプト・テンプレートを評価するときに以下の列が含まれます。

• 必須列:
  • プロンプト変数: プロンプト・テンプレート用に作成された変数の値が含まれます。
  • generated_text:foundation modelによって生成された出力を含む
• オプション列:
  • input_token_count: 入力テキスト内のトークンの数が含まれます。
  • generated_token_count: 生成されたテキスト内のトークンの数が含まれます
  • prediction_probability: ウイニング出力を表す、生成されたトークンのログ確率の総計値が含まれます。

表には、データをスコアリング・レコードとして保管するためのタイム・スタンプ列と ID 列を含めることもできます。

データマートに指定したデータベースにアクセスするか、次の例に示すようにPythonSDKを使用して、ペイロードロギングテーブルを表示できます：

ペイロード・データの送信

機械学習プロバイダーとしてIBM watsonx.aiRuntimeを使用している場合、モデルがスコアリングされるとwatsonx.governanceが自動的にペイロードデータを記録します。

評価を構成した後、ペイロード・ロギング・エンドポイントを使用して、オンデマンド評価を実行するための評価要求を送信することもできます。 実動モデルの場合は、CSV ファイルを使用してペイロード・データをアップロードし、評価要求を送信することもできます。 詳しくは、 モデル・トランザクションの送信を参照してください。

詳細情報

ペイロード・ロギング

親トピック モデル評価のためのデータ管理