AutoAI bereitet automatisch Daten vor, wendet Algorithmen an und versucht, Modellpipelines zu erstellen, die für Ihre Daten und Ihren Anwendungsfall am besten geeignet sind. Hier erfahren Sie, wie Sie die Modellpipelines auswerten, damit Sie eine Pipeline als Modell speichern können.
Experimentergebnisse überprüfen
Während des AutoAI-Trainings wird das Dataset in einen Trainingsteil und einen Teil mit ausgeschlossenen Daten aufgeteilt. Der Trainingsteil wird von den AutoAI -Trainingsphasen verwendet, um die AutoAI -Modellpipelines und Kreuzvalidierungsscores zu erstellen, die zum Einstufen verwendet werden. Nach dem AutoAI -Training wird der Ausholteil für die resultierende Pipeline-Modellauswertung und -berechnung von Leistungsinformationen wie ROC-Kurven und Unklarheitsmatrizen verwendet, die in der Bestenliste angezeigt werden. Das Verhältnis des Trainingsteils zum ausgeschlossenen Teil beträgt 90:10.
Im Verlauf des Trainings werden eine dynamische Informationsgrafik und eine Bestenliste (Leaderboard) angezeigt. Bewegen Sie den Cursor über Knoten in der Infografik, um die Faktoren, die Pipelines gemeinsam nutzen, und ihre eindeutigen Eigenschaften zu untersuchen. Klicken Sie für eine Anleitung zu den Daten in der Infografik auf die Registerkarte Legende in der Informationsanzeige. Um eine andere Ansicht der Pipelineerstellung anzuzeigen, klicken Sie auf die Registerkarte 'Experimentdetails' der Benachrichtigungsanzeige und anschließend auf Ansichten wechseln , um die Fortschrittsübersicht anzuzeigen. Klicken Sie in einer der beiden Ansichten auf einen Pipelineknoten, um die zugeordnete Pipeline in der Bestenliste anzuzeigen. Die Bestenliste enthält Modellpipelines, die nach Kreuzvalidierungsscores eingestuft werden.
Pipelinetransformationen anzeigen
Bewegen Sie den Mauszeiger über einen Knoten in der Infografik, um die Transformationen für eine Pipeline anzuzeigen. Die Sequenz der Datentransformationen besteht aus einem Vorverarbeitungstransformator und einer Sequenz von Datentransformatoren, wenn Feature-Engineering für die Pipeline durchgeführt wurde. Der Algorithmus wird durch die Modellauswahl und die Optimierungsschritte während des AutoAI-Trainings bestimmt.
Informationen zu den technischen Details für die Erstellung der Pipelines finden Sie unter Implementierungsdetails.
Bestenliste (Leaderboard) anzeigen
Jede Modellpipeline wird für verschiedene Metriken bewertet und anschließend eingestuft. Die Standardrangordnungsmetrik für binäre Klassifikationsmodelle ist der Bereich unter der ROC-Kurve. Bei Klassifikationsmodellen mit mehreren Klassen ist die Standardmetrik die Genauigkeit. Bei Regressionsmodellen ist die Standardmetrik der Root-Mean-Squared-Fehler (RMSE). Die am höchsten eingestuften Pipelines werden in einer Rangliste angezeigt, sodass Sie weitere Informationen zu ihnen anzeigen können. Die Bestenliste bietet auch die Möglichkeit, ausgewählte Modellpipelines zu speichern, nachdem Sie sie überprüft haben.
Sie können die Pipelines wie folgt evaluieren:
- Klicken Sie auf eine Pipeline in der Bestenliste, um weitere Details zu den Metriken und zur Leistung anzuzeigen.
- Klicken Sie auf Vergleichen , um anzuzeigen, wie die obersten Pipelines verglichen werden.
- Sortieren Sie die Bestenliste nach einer anderen Metrik.
Wahrheitsmatrix anzeigen
Eines der Details, das Sie für eine Pipeline für ein Binärklassifikationsexperiment anzeigen können, ist eine Wahrheitsmatrix.
Die Wahrheitsmatrix basiert auf den Holdout-Daten, d. h. dem Teil des Trainingsdatasets, der nicht zum Trainieren der Modellpipeline verwendet wird, sondern nur zum Messen seiner Leistung für Daten, die während des Trainings nicht gesehen wurden.
In einem binären Klassifikationsproblem mit einer positiven Klasse und einer negativen Klasse fasst die Wahrheitsmatrix die positiven und negativen Vorhersagen des Pipelinemodells in vier Quadranten abhängig von ihrer Richtigkeit in Bezug auf die positiven oder negativen Klassenbezeichnungen des Holdout-Datasets zusammen.
Das Beispielexperiment 'Bank' soll beispielsweise Kunden identifizieren, die Werbeaktionen durchführen, die ihnen angeboten werden. Daraus ergibt sich die folgende Wahrheitsmatrix für die am höchsten eingestufte Pipeline:
Die positive Klasse ist 'yes' (d. h., ein Benutzer nimmt die Werbeaktion an). Sie sehen, dass die Messung von echten negativen Werten, d. h., Kunden, die vom Modell richtig vorhergesagt wurden, dass sie ihre Werbeaktionen ablehnen würden, hoch ist.
Klicken Sie auf die Menüpunkte im Navigationsmenü, um weitere Details zur ausgewählten Pipeline anzuzeigen. Unter Merkmalsbedeutung wird beispielsweise angegeben, welche Datenmerkmale am meisten zum Ausgang der Vorhersage beitragen.
Speichern einer Pipeline als Modell
Wenn Sie mit einer Pipeline zufrieden sind, speichern Sie sie mit einer der folgenden Methoden:
- Klicken Sie auf Modell speichern , um die potenzielle Pipeline als Modell in Ihrem Projekt zu speichern, damit Sie sie testen und bereitstellen können.
- Klicken Sie auf Als Notebook speichern , um ein automatisch generiertes Notebook zu erstellen und in Ihrem Projekt zu speichern. Sie können den Code überprüfen oder das Experiment im Notebook ausführen.
Nächste Schritte
Stufen Sie das trainierte Modell in einen Bereitstellungsbereich hoch, sodass Sie es mit neuen Daten testen und Vorhersagen generieren können.
Weitere Informationen
Details der AutoAI-Implementierung
Übergeordnetes Thema: AutoAI - Übersicht