機械学習モデルの評価に使用される用語と概念を学ぶ。
受け入れ可能な公平性
公平性しきい値を満たすためにモニター対象グループが受け取る必要がある好ましい結果の割合。 これは、完全な等価性に公平性しきい値を乗算して計算されます。
アラート
パフォーマンス・メトリックが、構成されたモニターによって指定された許容範囲外であることを示す通知。
平衡型データ・セット
選択した時間にモデルが受信したスコアリング要求と摂動されたレコードを含むデータ・セット。
ベースライン・データ
介入または変更の前に収集された前のデータ。 このデータは、将来収集されるデータと比較するための基盤となります。
バッチ・デプロイメント
ストレージ・バケット内のファイル、データ接続、または接続されたデータからの入力データを処理し、選択した宛先に出力を書き込みます。 ファイルからの入力データを処理して出力をファイルに書き込む、モデルをデプロイするための手法。
バッチ処理'
巨大なペイロード／フィードバックデータを含むデプロイメントを監視する必要がある場合は、バッチ処理を推奨する。
バイアス
機械学習モデルにより、参照結果と比較して不公平であると見なされるモニター対象の個人、グループ、またはモノの結果が生成される場合。 モデルのトレーニング・データに問題があることが原因である可能性があります。 公平性モニターは、設定したしきい値を下回るバイアスを検出できます。 関連用語: バイアス緩和。
Cloud Object Storage
データの保管とアクセスのために IBM が提供するサービス。 Cloud Object Storageが機械学習資産のリポジトリである場合、モデル評価のために資産に接続するには、関連するサービス・クレデンシャルを使用する必要があります。
リソース ID、API キーも参照してください。
信頼性スコア
機械学習モデルの予測が正しい可能性。 スコアが高いほど、予測結果が実際の結果と一致する可能性が高いことを示します。
対比的説明
モデル予測を変更するために変更される特徴量列の値の最小セットを示す説明。 これは、単一のデータ・ポイントに対して計算されます。
データマート「
モデル評価用のすべてのメタデータが保存されるワークスペース。 バックグラウンドでは、メタデータが保存されるデータベース・パーシスタンス・レイヤーに接続されます。
バイアス緩和済みのトランザクション
バイアス緩和済みの結果が生成されるトランザクション。
バイアス緩和
公平性モニターがバイアスを検出したとき。 モニター対象グループが偏りのある結果を受け取った場合は、バイアスを自動または手動で軽減するための手順を実行します。
デプロイメント
モデルをデプロイしてエンドポイントを使用可能にし、新規データ (要求) をモデルに入力してスコアまたは応答を取得できるようにします。 モデル・デプロイメントは、テスト用の実動前環境にすることも、実際に使用するための実動環境にすることもできます。
ドリフト
時間の経過とともにモデルの正確度が低下する場合。 モデルのパフォーマンス低下につながるモデル入力データの変更が原因である可能性があります。 ドラフトをモニターするために、モデルの正確度が指定された許容可能なしきい値を下回った場合のアラートを作成できます。
評価
メトリックを使用して機械学習モデルを評価し、モデルのパフォーマンス (公平性や正確度などの領域) を測定するプロセス。 モニターは、目標にとって重要な領域のモデルを評価できます。
説明
モデルの特定の測定値の評価についての洞察。 解説は、モデルの評価結果を理解するのに役立つだけでなく、問題に対処するためのwhat-ifシナリオの実験にも役立つ。
公平性
モデルが、参照グループよりもモニター対象グループを優先するバイアスのある結果を生成するかどうかを判別します。 公平性評価では、あるグループに対して別のグループよりも好ましい/望ましい結果をより頻繁に提供する傾向がモデルに示されているかどうかが検査されます。 モニター対象の標準的なカテゴリーは、年齢、性別、および人種です。
機能
機械学習モデルのトレーニングに使用されるデータ・セット列名 (特徴量列) のリスト。
例: 個人がローンの資格を満たしているかどうかを予測するモデルでは、雇用状況と信用履歴の機能に郵便番号よりも大きな重みが付与される可能性があります。
フィードバック・データ
機械学習モデル (ターゲットを含む) のトレーニングに使用されたが、トレーニングには使用されなかったデータのスキーマと構造に一致するラベル付きデータ。 このデータは、デプロイされたモデルの正確度を測定するために品質モニターによって使用される既知のデータまたは実際のデータです。 既知の結果に照らして測定した場合に、予測が正確であるかどうかを判別します。
グローバルの説明
データのサンプルに対するモデルの予測を説明します。
ヘッドレス・サブスクリプション
バックグラウンドでリアルタイム・デプロイメントを実行するサブスクリプション。 ヘッドレスサブスクリプションを使用すると、ユーザーは、スコアリング URL を供給することなく、デプロイメントに供給されるデータ(Payload/Feedback)を使用してデプロイメントを監視できます。
ラベル付きデータ
モデルのトレーニング中に機械学習アルゴリズムが認識できるように統一された方法でラベルが付けられたデータ。
例: ラベル付きの列を持つデータの表は、教師あり機械学習の典型的な例です。 機械学習の問題で使用するために、イメージにラベルを付けることもできます。
ローカルの説明
特定の個別の例を使用して、モデルの予測を説明します。
Meta-フィールド
製品間で固有の特殊データ。
モニター'
異なるモデル評価'
'のパフォーマンス結果を追跡する：公平性、ドリフト、品質、説明可能性
モニター対象グループ
公平性を評価する場合、モニター対象グループは、バイアスのある結果のリスクが最も高い値を表します。
例: 性別機能では、女性と非 2 値をモニター対象グループとして設定できます。
オンライン・デプロイメント
新規データのリアルタイム・スコアまたはソリューションを提供する API エンドポイントを介してデプロイメントにアクセスする方法。
ペイロード・データ
モデルに提供されるすべてのリアルタイム・データ。 モデルへの要求 (入力) とモデルからの応答 (出力) で構成されます。
ペイロード・ロギング
ペイロード・データを永続化します。
完全均等
すべての参照グループに提供される好ましい結果の割合。 平衡型およびバイアス緩和済みのデータ・セットの場合、計算には、参照グループ・トランザクションになるように変更されたモニター対象グループ・トランザクションが含まれます。
摂動
モニターに関連するさまざまな指標 (公平性、説明可能性など) の計算中に、実際のデータ・ポイントを中心にシミュレートされるデータ・ポイント。
実動前スペース
モデル検証のためにデータを容易にテストするために使用される環境。
予測列
新しいデータが表示されたときに、監視対象の機械学習モデル (ラベル付きデータでトレーニングされたもの) が予測する変数。
「ターゲット」も参照してください。
確率
モデルが出力を予測する際に使用する確信度。 分類モデルに適用されます。
実動スペース
機械学習モデルを操作可能にするために使用されるデプロイメント・スペース。 実動スペースからのデプロイメントは、指定されたメトリックと実際のパフォーマンスを比較するために評価されます。
品質
モデルがフィードバック・データの評価に基づいて正確な結果を予測する精度を評価するモニター。 一連の標準データ・サイエンス・メトリックを使用して、ラベル付けされたデータ・セット内の実際の結果と一致する結果をモデルがどの程度予測しているかを評価します。
レコード
モニターが評価されるトランザクション。
参照グループ
公平性を評価する場合、参照グループは、バイアスのある結果のリスクが最も低い値を表します。
例: 経過時間機能の場合、30 から 55 を参照グループとして設定し、他のコホートの結果をそのグループと比較することができます。
相対的な重み
対象変数の予測に対する特徴量の相対的な重み。 重みが高いほど、重要度が高いことを示します。 相対的な重みを知ることは、モデルの結果を説明するのに役立ちます。
リソース ID
Cloud Object Storageに保管されているリソースの固有 ID。 取得するには:
- https://cloud.ibm.com/resources を開きます。
- リソース (ストレージ・サービスなど) を検索して展開します。
- リソース ID の値を引用符なしでコピーします
応答時間
モデル・デプロイメントによる評価要求の処理にかかった時間
ランタイム・データ
モデルのライフサイクルの実行から取得されたデータ。
Scoring endpoint
デプロイされたモデルのスコアリング出力を受け取るためにユーザが呼び出すことのできるHTTPSエンドポイント。
スコアリング要求
デプロイメントへの入力です。
「ペイロード (Payload)」も参照。
スコアリング
モデル推論において、要求をモデルに送信し、応答を取得するアクション。
自己管理
独自のデータウェアハウスに保管され、独自の Spark 分析エンジンによって評価されるトランザクションをモデル化します。
サービス資格情報
IBM Cloud リソースに接続するために必要なアクセス ID。
サービスプロバイダー
デプロイメントをホストする機械学習プロバイダー（典型的にはモデルエンジン：WML、AWS、Azure、カスタム）。
サブスクリプション「
監視対象の配置。 デプロイメントとサブスクリプションの間には 1 対 1 のマッピングがあります。
システムが管理する「
データベースに格納され、コンピューティングリソースを使用して評価されるモデルトランザクション。
ターゲット
トレーニングされたモデルが予測するデータ・セットの特徴量または列。 モデルは、既存のデータを使用してパターンを学習し、データ・セットのフィーチャーとターゲットの間の関係を検出することでトレーニングされます。
「予測」列も参照してください。
しきい値
モニターが機械学習モデルを評価するように構成されている場合。 許容できる範囲の結果のベンチマークが設定されています。 結果が構成済みのしきい値を下回ると、アラートがトリガーされ、シチュエーションの評価と修正が行われます。
トレーニング・データ
モデルの学習アルゴリズムを学習およびトレーニングするために使用されるデータ。
トランザクション
ペイロード・ロギング・テーブルに保管されている機械学習モデル評価のレコード。
ラベルなしデータ
特性、分類、およびプロパティーを識別するラベルに関連付けられていないデータ。 統一された方法でラベルが付けられていない非構造化データ。
例: ラベル付けされていないデータの典型的な例として、E メールまたはラベル付けされていないイメージがあります。 ラベル付けされていないデータは、教師なし機械学習で使用できます。
ユーザー ID
スコアリング要求に関連付けられているユーザーの ID。
親トピック: Watson OpenScale