モデル取引に関する説明は、予測がどのように決定されるかを理解するのに役立ちます。

ローカルでの説明を分析して、特定のトランザクションの要因の影響を理解したり、グローバルでの説明を分析して、モデルの結果に影響を与える一般的な要因を理解したりすることができます。 構成するモデルのタイプによって、トランザクションの分析に使用できる説明のタイプが決まります。

説明は、構造化、画像、非構造化テキストモデルに対応している。 構造化モデルでは、二項分類問題、多項分類問題、または回帰分類問題を使用できます。 イメージ・モデルまたは非構造化テキスト・モデルでは、二項分類問題または多項分類問題を使用できます。

説明可能性を設定すると、トランザクションの分析にLocal Interpretable Model-Agnostic Explanations（LIME）、Contrastive Explanations（対比的説明）、またはShapley Additive Explanations（SHAP）を使用できる。

LIME は、最大 5000 個の他のクローズド・バイ・データ・ポイントを分析することにより、特定のデータ・ポイントにとって最も重要なフィーチャーを識別します。 理想的な設定では、LIME で重要度の高い特徴量は、その特定のデータ・ポイントで一番重要な特徴量ということになります。

対比的説明では、予測を変更したり同じ予測を維持したりするために変更する必要がある値の数を計算します。 最大の変化を必要とする要因の方がより重要であると考えられるため、対比的説明で最も重要な特徴量は、モデルの感度が最も低い特徴量です。 対照的な説明では、同じ結果に対する最大の変化と、変化した結果に対する最小の変化が表示される。 これらのカテゴリーは、関連する陽性所見の値および関連する陰性所見の値とも呼ばれます。 これらの値は、説明が生成されたデータ・ポイントの近辺でのモデルの振る舞いを説明するために役立ちます。

SHAP は、機械学習モデルの出力を説明するゲーム理論的アプローチです。 これは、Shapley の値とそれに関連する拡張機能を使用して、最適なクレジット割り当てをローカルの説明に結び付けます。 SHAP は、各モデル特徴量に特定の予測の重要度値を割り当てます。これは Shapley 値と呼ばれます。 Shapley 値は、すべての可能な特徴量グループにおける、特徴量値の平均周辺寄与率です。 入力特徴量の SHAP 値は、ベースライン出力または期待されるモデル出力と、説明されている予測の現在のモデル出力との差の合計です。 ベースライン・モデル出力は、トレーニング・データの要約、または説明を生成する必要があるデータのサブセットに基づくことができます。 トランザクションのセットの Shapley 値を組み合わせて、モデルのどの機能が最も重要であるかの概要を示すグローバル説明を得ることができます。