資料の 英語版 に戻るWatson OpenScale 品質メトリックの正確度
Watson OpenScale 品質メトリックの正確度
最終更新: 2024年10月07日
正確度は、 Watson OpenScaleでのモデル内の正しい予測の比率の指標です。
一目でわかる正確度
- 説明: 正確な予測の比率
- デフォルトのしきい値: 下限 = 80%
- デフォルトの推奨:
- 上昇傾向: 上昇傾向は、指標が向上していることを示します。 これは、モデルの再訓練の効果が出ていることを意味します。
- 下降傾向: 下降傾向は、指標が悪化していることを示します。 フィードバック・データと訓練データの差異が明らかに広がっています。
- 不規則または不定期変化: 不規則変化または不定期変化は、フィードバック・データが各評価で一貫性がないことを示します。 モデル性能モニタリングの最小サンプル・サイズを増やしてください。
- 問題タイプ: 二項分類と多項分類
- グラフ値: 時間フレーム内の最終値
- 使用可能な指標の詳細: 混同行列
正確度について
正確度は、アルゴリズムのタイプに応じてその意味が異なります。
多項分類: 正確度は、クラスが全体として正確に予測された回数を測定してから、その値をデータ・ポイント数で正規化することによって求められます。 詳しくは、Apache Spark 資料の Multi-class classification を参照してください。
二項分類: 二項分類アルゴリズムでは、正確度は ROC 曲線の下側の面積として測定されます。 詳しくは、Apache Spark 資料の Binary classification を参照してください。
回帰: 回帰アルゴリズムは、決定係数 ( R2) を使用して測定されます。 詳しくは、Apache Spark 資料の Regression model evaluation を参照してください。
計算
正確度は、真陽性と真陰性の数を、真陽性と真陰性の合計と、偽陽性と偽陰性の合計で除算したものとして定義されます。
number of true positives + number of true negatives
Accuracy = ________________________________________________________________________________________________________________
(number of true positives + number of true negatives + number of false positives + number of false negatives)
処理の流れ
以下の例に示すように、 Python クライアント または Rest APIを使用して、 Watson OpenScale UI を介して手動でラベル付けされたフィードバック・データを追加する必要があります。
バイアス緩和済みの正確度
サポートするデータがある場合は、元のモデルとバイアス緩和済みのモデルの両方に基づいて正確度が計算されます。 IBM Watson OpenScale は、バイアス緩和済みの出力の正確度を計算し、ペイロード・ロギング・テーブルに追加の列として保管します。
もっと見る
親トピック: 品質指標の概要