モデルの評価を可能にするためには、インサイトを生成するためのロギング用にデータを準備する必要があります。
モデルの評価を可能にするには、watsonx.governance がサポートする形式でモデルデータを提供する必要があります。 Watsonx.governance はモデルのトランザクションを処理し、watsonx.governance データマートにデータを記録します。 データマートは、モデル評価に使用されるデータを保管するロギング・データベースです。 以下のセクションでは、watsonx.governance がモデル評価のために記録するさまざまな種類のデータについて説明します:
ペイロード・データ
ペイロード・データには、デプロイメントの入出力トランザクションが含まれています。 watsonx.governanceは、モデルからペイロードデータを受け取り、ペイロードロギングテーブルに保存する必要があります。 このテーブルには、watsonx.governanceに送る各スコアリング・リクエストを識別するためのタイムスタンプとIDカラムが含まれています:
watsonx.governanceにモデル・トランザクションのログを提供するために、スコアリング・リクエストを送信する必要があります。 詳しくは、 ペイロード・データの管理を参照してください。
フィードバック・データ
フィードバック・データは、トレーニング・データの構造に一致するラベル付きデータであり、モデルの正確度を測定するためにモデル予測と比較される既知のモデル結果を含みます。 Watsonx.governanceは、品質評価を設定できるようにフィードバックデータを使用します。 フィードバックデータをwatsonx.governance に定期的にアップロードし、モデルの予測精度を継続的に測定する必要があります。 詳しくは、 フィードバック・データの管理を参照してください。