Watson OpenScaleで品質評価を有効にすると、モデルの予測結果の精度を判別するのに役立つメトリックを生成できます。
Watson OpenScaleの 「洞察」ダッシュボード で品質評価の結果を表示できます。 結果を表示するには、モデル・デプロイメント・タイルを選択し、 「品質」 評価セクションの矢印 
をクリックして、最後の評価の品質メトリックの要約を表示します。 詳しくは、 品質結果の確認を参照してください。
品質メトリックは、手動でラベル付けされたフィードバック・データとモニター対象のデプロイメント応答を使用して計算されます。 詳しくは、 フィードバック・データの管理を参照してください。
サポートされている品質指標
以下の品質指標が Watson OpenScale によってサポートされています。
二項分類の問題
二項モデルの場合、Watson OpenScale はモデルの品質が許容レベルを下回る状況を追跡します。 2 項分類モデルの場合、ROC 曲線下面積スコアをチェックします。これは、2 つのクラスを区別するモデルの能力を測定します。 例えば、ROC 曲線下面積スコアが高いモデルは、クラス A をクラス A として、クラス B をクラス B として識別するのに適しています。 以下のメトリックは、2 項分類の問題を測定します。
回帰分類の問題
回帰モデルの場合、 Watson OpenScale は、モデルの品質が許容レベルを下回る状況を追跡し、 「R2 乗」 スコアを確認します。 「R2 乗」 スコアは、予測値と実際の値の間の相関を測定します。 例えば、 R 2 乗スコア が高いモデルは、実際の値により適合します。 以下のメトリックは、回帰分類の問題を測定します。
多項分類の問題
複数分類モデルの場合、 Watson OpenScale は、モデルの品質が許容レベルを下回るタイミングを追跡し、正確な予測のパーセンテージを示す 「正確度」 スコアをチェックします。 以下のメトリックは、マルチクラス分類の問題を測定します。
Watson OpenScale により品質の問題 (正確度しきい値違反など) が検出された後で、その問題を修正する新しいバージョンのモデルを作成する必要があります。 フィードバック・テーブル内の手動でラベル付けされたデータを使用して、元のトレーニング・データとともにモデルをリトレーニングする必要があります。
もっと見る
親トピック: 品質評価の構成