エクスペリメント結果の確認

AutoAI のトレーニング中に、データ・セットはトレーニング部分とホールドアウト部分に分割されます。 トレーニング・パーツは、 AutoAI トレーニング・ステージによって、 AutoAI モデル・パイプラインと、それらをランク付けするために使用される交差検証スコアを生成するために使用されます。 AutoAI トレーニングの後、ホールドアウト部分は、結果のパイプライン・モデル評価と、リーダーボードに表示される ROC 曲線やコンフュージョン・マトリックスなどのパフォーマンス情報の計算に使用されます。 トレーニング/ホールドアウトの分割率は 90/10 です。

トレーニングが進むにつれて、動的インフォグラフィックとリーダーボードが表示されます。 インフォグラフィック内のノードの上にカーソルを移動して、パイプラインが共有する要因と、それらの固有のプロパティーを検討します。 インフォグラフィックのデータについては、情報パネルの「凡例」タブをクリックしてください。 または、パイプライン作成の別のビューを表示するには、通知パネルの「エクスペリメントの詳細」タブをクリックし、 「ビューの切り替え」 をクリックして進捗マップを表示します。 いずれかのビューで、パイプライン・ノードをクリックして、関連するパイプラインをリーダーボードに表示します。 リーダーボードには、交差検証スコアでランク付けされたモデル・パイプラインが含まれています。

パイプライン変換の表示

インフォグラフィック内のノードの上にカーソルを移動すると、パイプラインの変換が表示されます。 パイプラインに対して特徴量エンジニアリングが実行された場合、データ変換のシーケンスは、前処理変換プログラムと一連のデータ変換プログラムで構成されます。 アルゴリズムは、AutoAI トレーニング中にモデル選択および最適化ステップによって決定されます。

パイプラインの作成に関する技術的な詳細を確認するには、 実装の詳細 を参照してください。

リーダーボードの表示

各モデル・パイプラインは、さまざまなメトリックについてスコアが付けられ、その後ランク付けされます。 二項分類モデルのデフォルトのランキング測定基準は、ROC 曲線の下の領域です。 マルチクラス分類モデルの場合、デフォルトのメトリックは正確度です。 回帰モデルの場合、デフォルトのメトリックは平均平方根誤差 (RMSE) です。 最高ランクのパイプラインはリーダーボードに表示されるため、それらに関する詳細情報を表示できます。 リーダーボードには、選択したモデル・パイプラインを確認後に保存するオプションも用意されています。

パイプラインは、以下のように評価できます。

• リーダーボードでパイプラインをクリックして、メトリックおよびパフォーマンスに関する詳細を表示します。
• 「比較」 をクリックして、上位のパイプラインがどのように比較されるかを表示します。
• 各種メトリックでリーダーボードをソートします。

パイプラインをモデルとして保存します。

パイプラインに問題がなければ、以下のいずれかの方法を使用して保存します。

• 「モデルの保存」 をクリックして、候補パイプラインをモデルとしてプロジェクトに保存し、テストおよびデプロイできるようにします。
• ノートブックとして保存 をクリックして、自動生成されたノートブックを作成し、プロジェクトに保存します。 ノートブックでコードを確認したり、エクスペリメントを実行したりすることができます。

今後のステップ

トレーニングされたモデルをデプロイメント・スペースにプロモートして、新しいデータでテストし、予測を生成します。

詳細情報

AutoAI 実装の詳細

親トピック: AutoAI の概要