モデルの評価を可能にするためには、インサイトを生成するためのロギング用にデータを準備する必要があります。
モデル評価を有効にするには、サポートされている形式でモデル・データを指定する必要があります。 モデル・トランザクションはデータマートに記録されて処理されます。 データマートは、モデル評価に使用されるデータを保管するロギング・データベースです。 以下のセクションでは、モデル評価のためにログに記録されるさまざまなタイプのデータについて説明します。
トレーニング・データ
モデル評価を構成するために必要な統計を生成するには、トレーニング・データを提供する必要があります。 トレーニングデータには、モデルの結果に対する影響を判断するために測定されるラベル付き特徴列と、モデルが予測するようにトレーニングされた結果を含む予測列が含まれる。 以下の例は、 German Credit Risk データ・セットからのトレーニング・データを示しています。
モデルの評価を可能にするには、トレーニングデータを接続する必要があります。 モデルのトレーニングデータは、処理可能な形式で提供されなければならない。 詳しくは、 トレーニング・データの管理を参照してください。
ペイロード・データ
ペイロード・データには、デプロイメントの入出力トランザクションが含まれます。 評価を構成するために、モデルからのペイロード・データがペイロード・ロギング・テーブルに保管されます。 ペイロード・ロギング・テーブルには、トレーニング・データに存在する特徴量と予測の列、および提供する予測のモデルの信頼性を含む予測確率の列が含まれます。 この表には、以下の例に示すように、使用しているサービスに送信する各評価要求を識別するためのタイム・スタンプ列と ID 列も含まれています。
モデル・トランザクションのログを提供するには、スコアリング要求を送信する必要があります。 詳しくは、 ペイロード・データの管理を参照してください。
フィードバック・データ
フィードバック・データには、トレーニング・データの構造に一致するデータのラベルが付けられます。フィードバック・データには、モデルの精度を測定するためにモデル予測と比較される既知のモデル結果が含まれます。 モデルの予測精度を継続的に測定するために、フィードバックデータを定期的にアップロードする必要があります。 詳しくは、 フィードバック・データの管理を参照してください。