Wenn Sie Auswertungen konfigurieren, können Sie die Auswertungsergebnisse analysieren, um Erkenntnisse über die Leistung Ihres Modells zu gewinnen. Ein Dashboard stellt die Tools zum Prüfen von Leistungsdetails, zur gemeinsamen Nutzung von Informationen zu Alerts oder zum Drucken von Berichten bereit.
Einige der Details, die Sie über das Insights-Dashboard einsehen können, sind:
- Überprüfen Sie die Qualitätsergebnisse, um eine Fehlermatrix anzuzeigen, mit der Sie feststellen können, ob Ihr bereitgestelltes Modell Ihre Transaktionen ordnungsgemäß analysiert hat.
- Zeigen Sie Driftergebnisse an, um die Transaktionen anzuzeigen, die für einen Rückgang der Genauigkeit und/oder Datenkonsistenz verantwortlich sind.
- Überprüfen Sie die Ergebnisse der Modellzustandsbewertung, wo Sie eine Zusammenfassung der Metriken anzeigen können, die während der letzten Auswertung mit Scorecardkacheln generiert wurden, die mit unterschiedlichen Dimensionen korrelieren.
So zeigen Sie Ergebnisse im Insights-Dashboardan:
Klicken Sie in Watson OpenScale auf das Symbol Aktivität
, um das Insights-Dashboard anzuzeigen.Wählen Sie die Kachel des Bereitstellungsmodells aus, für die Sie Ergebnisse anzeigen wollen. Die Ergebnisse Ihrer letzten Auswertung werden angezeigt.
Klicken Sie auf den Pfeil
in einem Auswertungsabschnitt, um Datenvisualisierungen von Auswertungsergebnissen innerhalb der von Ihnen angegebenen Einstellungen für Zeitrahmen und Datumsbereich anzuzeigen. Die letzte Auswertung für den ausgewählten Zeitrahmen wird auch während des zugehörigen Datenbereichs angezeigt.Im Menü Aktionen können Sie Details zu Ihrem Modell anzeigen, indem Sie eine der folgenden Analyseoptionen auswählen:
- Alle Bewertungen: Für Vorproduktionsmodelle können Sie einen Verlauf Ihrer Bewertungen anzeigen, um zu verstehen, wie sich Ihre Ergebnisse im Zeitverlauf ändern.
- Vergleichen: Vergleichen Sie Modelle mit einem Matrixdiagramm, das Schlüsselmetriken hervorhebt, um festzustellen, welche Version eines Modells für die Produktion bereit ist oder für welche Modelle mehr Training erforderlich ist.
- Modellinformationen anzeigen: Zeigen Sie Details zu Ihrem Modell an, um zu verstehen, wie Ihre Implementierungsumgebung eingerichtet ist.
- Bericht als PDF herunterladen: Generieren Sie einen Modellzusammenfassungsbericht, der alle Metriken und die Erklärung dafür enthält, warum sie so bewertet wurden, wie sie waren.
- Alert einrichten: Senden Sie Alerts zu Schwellenwertverstößen an eine E-Mail-Adresse.
Sie können auch das Menü Aktionen verwenden, um Daten für Modellbewertungen zu verwalten. Weitere Informationen finden Sie unter Modelltransaktionen senden.
Bei Zeitreihendiagrammen werden die aggregierten Auswertungen als Datenpunkte angezeigt, die Sie auswählen können, um die Ergebnisse für einen bestimmten Zeitpunkt zu betrachten. Der Zeitstempel jedes Datenpunkts, der angezeigt wird, wenn Sie den Mauszeiger über Zeitreihendiagramme bewegen, stimmt aufgrund des Standardaggregationsverhaltens nicht mit dem Zeitstempel der letzten Auswertung überein.
In den folgenden Abschnitten wird beschrieben, wie Sie die Ergebnisse Ihrer Modellauswertungen analysieren können:
Fairnessergebnisse überprüfen
Um Ihnen die Überprüfung der Fairness-Ergebnisse zu erleichtern, werden Berechnungen für die folgenden Arten von Datensätzen bereitgestellt:
- Ausgeglichen: Die ausgewogene Berechnung enthält die Scoring-Anforderung, die für die ausgewählte Stunde empfangen wurde. Die Berechnung enthält außerdem weitere Datensätze aus vorherigen Stunden, wenn die für die Bewertung erforderliche Mindestanzahl an Datensätzen nicht erreicht wurde. Enthält weitere, durch Perturbation veränderte und synthetisierte Datensätze, die zum Testen der Antwort des Modells verwendet werden, wenn sich der Wert des überwachten Features ändert.
- Nutzdaten: Die tatsächlichen Scoring-Anforderungen, die vom Modell für die ausgewählte Stunde empfangen wurden.
- Training: Die zum Trainieren des Modells verwendeten Trainingsdatensätze.
- Verzerrungsbereinigte Daten: Die Ausgabe des Verzerrungsbereinigungsalgorithmus nach der Verarbeitung der Laufzeitdaten und der durch Perturbation veränderten Daten.
Mit dem Diagramm können Sie die Gruppen beobachten, bei denen Verzerrungen auftreten, und den Prozentsatz der erwarteten Ergebnisse für diese Gruppen anzeigen. Sie können auch den Prozentsatz der erwarteten Ergebnisse für Referenzgruppen anzeigen. Dies ist der Durchschnitt der erwarteten Ergebnisse für alle Referenzgruppen. Die Diagramme zeigen das Vorhandensein von Verzerrungen an, indem sie das Verhältnis des Prozentsatzes der erwarteten Ergebnisse für überwachte Gruppen in einem Datenbereich mit dem Prozentsatz der Ergebnisse für Referenzgruppen vergleichen.
Im Diagramm wird auch die Verteilung der Referenzwerte und überwachten Werte für jeden einzelnen Attributwert in den Daten aus der Nutzdatentabelle angezeigt, der zur Ermittlung der Verzerrung analysiert wurde. Die Verteilung der Nutzdaten wird für jeden einzelnen Wert der Attribute angezeigt. Sie können diese Daten verwenden, um den Grad der Verzerrung mit dem vom Modell empfangenen Datenvolumen zu korrelieren. Sie können auch den Prozentsatz der Gruppen mit erwarteten Ergebnissen anzeigen, um Quellen für Verzerrungen zu ermitteln, die zu Abweichungen bei den Ergebnissen geführt haben und zu Erhöhungen des Prozentsatzes der erwarteten Ergebnisse für Referenzgruppen geführt haben.
Überprüfung der Qualitätsergebnisse
Um Sie bei der Überprüfung der Qualitätsergebnisse zu unterstützen, wird eine Konfusionsmatrix angezeigt, mit deren Hilfe Sie feststellen können, ob Ihr eingesetztes Modell Ihre Transaktionen falsch analysiert hat. Bei binären Klassifizierungsmodellen werden die Transaktionsdatensätze als falsch-positiv oder falsch-negativ eingestuft, bei Mehrklassenmodellen als falsche Klassenzuordnung. Bei binären Klassifikationsproblemen wird die Zielkategorie entweder der Stufe positive oder negative zugeordnet. Die Konfusionsmatrix zeigt auch den Prozentsatz der positiven und negativen Transaktionen an, die korrekt analysiert wurden. Um die Korrektheit zu ermitteln, hebt die Matrix auch die Kategorien der Transaktionen mit grünen und blauen Farbtönen hervor, um die Stufen der am meisten oder am wenigsten korrekten Kategorien anzuzeigen. Sie können die Menüs Voraussichtlicher Wert und Tatsächlicher Wert verwenden, um die Kategorie der Transaktionen anzugeben, die Sie analysieren möchten.
Driftergebnisse überprüfen
Für Abweichungsauswertungen können Sie die Transaktionen anzeigen, die für einen Rückgang der Genauigkeit und/oder der Datenkonsistenz verantwortlich sind. Sie können auch die Anzahl der identifizierten Transaktionen und die Funktionen Ihres Modells anzeigen, die für geringere Genauigkeit oder Datenkonsistenz verantwortlich sind.
Weitere Informationen finden Sie unter Drifttransaktionen überprüfen.
Ergebnisse der Drift v2 überprüfen
Wenn Sie die Bewertungsergebnisse von drift v2 überprüfen, werden ausklappbare Kacheln angezeigt, die Sie öffnen können, um verschiedene Details zu den Metriken anzuzeigen. Mit einem Zeitreihendiagramm können Sie den Verlauf anzeigen, wie sich die einzelnen Metrikbewertungen im Zeitverlauf ändern, oder Sie können Details anzeigen, wie die Scoreausgabe und Featuredrifts berechnet werden. Sie können auch Details zu den einzelnen Merkmalen anzeigen, um zu verstehen, wie sie zu den erzielten Ergebnissen beitragen.
Ergebnisse des Modellzustands überprüfen
Wenn Sie die Ergebnisse der Bewertung des Modellzustands überprüfen, erhalten Sie eine Zusammenfassung der Kennzahlen, die während der letzten Bewertung erstellt wurden, mit Scorecard-Kacheln, die mit den verschiedenen Dimensionen korrelieren. Bei Metriken mit mehreren Dimensionen können Sie auf ein Dropdown-Menü auf den Kacheln klicken, um die Metrik auszuwählen, die Sie analysieren wollen. Um zu analysieren, wie sich Ihre Metriken im Zeitverlauf ändern, können Sie auf die ausblendbaren Kacheln für jede Kategorie klicken, um Zeitreihendiagramme anzuzeigen.
Weitere Informationen finden Sie unter Auswertungsmetriken für den Modellzustand.
Übergeordnetes Thema: Überprüfung von Modelleinsichten