Qualitätsbewertungen

Modellgenauigkeit mit Qualitätsbewertungen messen

Qualitätsbewertungen überwachen, wie gut Ihr Modell genaue Ergebnisse vorhersagt. Sie erkennt, wenn die Modellqualität sinkt, um Ihnen die Möglichkeit zu geben, Ihr Modell neu zu trainieren. Um das Modell auszuwerten, stellen Sie Feedbackdatenbereit, bei denen es sich um Daten handelt, bei denen das Ergebnis bekannt ist. Qualitätsbewertungen verwenden eine Reihe von Data-Science-Standardmetriken, um zu bewerten, wie gut das Modell Ergebnisse vorhersagt, die mit den tatsächlichen Ergebnissen im gekennzeichneten Dataset übereinstimmen.

Sie können die akzeptablen Qualitätsschwellenwerte für die Metriken festlegen, die zum Auswerten Ihres Modells verwendet werden. Sie können auch den Stichprobenumfang festlegen, d. h. die Anzahl der Zeilen mit Rückmeldedaten, die für die Auswertung berücksichtigt werden sollen.

Vorbereitende Schritte: Feedbackdaten bereitstellen

Die Feedbackdaten sind vergleichbar mit der Bereitstellung eines Antwortblatts mit tatsächlichen beobachteten Ergebnissen. Die Überwachung kann das Modell so ausführen, als wären die Antworten nicht bekannt. Anschließend können Sie die vorhergesagten Ergebnisse mit den tatsächlichen Ergebnissen vergleichen und Genauigkeitsscores auf der Basis von Qualitätsmetriken bereitstellen.

Um die Feedback-Daten für Modelle für maschinelles Lernen bereitzustellen, müssen Sie die Seite Endpunkte öffnen und einen der folgenden Schritte ausführen:

• Klicken Sie auf Feedbackdaten hochladen und laden Sie eine Datei mit beschrifteten Daten hoch.
• Klicken Sie auf die Registerkarte Endpunkte und geben Sie einen Endpunkt an, der eine Verbindung zur Feedbackdatenquelle herstellt.

Details finden Sie unter Feedbackdaten verwalten.

Qualitätsschwellenwerte festlegen

Nachdem Ihre Rückmeldedaten für die Auswertung verfügbar sind, konfigurieren Sie die Monitoreinstellungen. Sie legen Schwellenwerte für die akzeptable Leistung des Modells im Vergleich zu den bekannten Ergebnissen fest.

Um die Schwellenwerte festzulegen, klicken Sie auf der Registerkarte Qualität auf das Symbol Bearbeiten , um Werte für das Feld Qualitätsschwellenwert einzugeben, und bearbeiten Sie dann die Werte für den Stichprobenumfang.

Unterstützte Qualitätsmetriken

Wenn Sie Qualitätsauswertungen aktivieren, können Sie Metriken erstellen, mit deren Hilfe Sie feststellen können, wie gut Ihr Modell Ergebnisse vorhersagt.

Sie können die Ergebnisse Ihrer Qualitätsbewertungen auf der Seite mit der Bewertungsübersicht einsehen. Zum Anzeigen von Ergebnissen können Sie eine Kachel für die Modellbereitstellung auswählen und auf den Pfeil im Bewertungsabschnitt Qualität klicken, um eine Zusammenfassung der Qualitätsmetriken Ihrer letzten Bewertung anzuzeigen. Weitere Informationen finden Sie unter Qualitätsergebnisse überprüfen.

Fläche unterhalb der ROC-Kurve

• Beschreibung: Bereich unter Kurve für Trefferquote und Falsch-positiv-Rate zur Berechnung der Sensitivität gegenüber der Fallout-Rate
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Binärklassifikation
• Diagrammwerte: Letzter Wert im Zeitrahmen
• Metrikdetails verfügbar: Wahrheitsmatrix

Fläche unterhalb der PR-Kurve

• Beschreibung: Kurve für den Bereich unter Genauigkeit und Trefferquote (Bereich unter PR)
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Binärklassifikation
• Diagrammwerte: Letzter Wert im Zeitrahmen
• Metrikdetails verfügbar: Wahrheitsmatrix
• Mathematik:

Der Bereich unter 'Genauigkeitsrückruf' gibt die Summe für beide Precision + Recallan.

       n
AveP = ∑ P(k)∆r(k)
      k=1

Die Genauigkeit (Precision, P) ist definiert als die Anzahl der wahr-positiven Werte (Tp) innerhalb der Anzahl der wahr-positiven Werte plus die Anzahl der falsch-positiven Werte (Fp).

               number of true positives
Precision =   ______________________________________________________

              (number of true positives + number of false positives)

Trefferquote (Recall, R) ist definiert als die Anzahl der wahr-positiven Werte (Tp) innerhalb der Anzahl der wahr-positiven Werte plus die Anzahl der falsch-negativen Werte (Fn).

            number of true positives
Recall =   ______________________________________________________

           (number of true positives + number of false negatives)

Genauigkeit

• Beschreibung: Der Anteil der korrekten Vorhersagen
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtypen: Binärklassifikation und Mehrklassenklassifikation
• Diagrammwerte: Letzter Wert im Zeitrahmen
• Metrikdetails verfügbar: Wahrheitsmatrix
• Genauigkeit verstehen:
  Die Genauigkeit kann je nach Algorithmustyp unterschiedliche Dinge bedeuten.

  • Mehrklassenklassifikation: Die Genauigkeit misst, wie häufig jede Klasse korrekt vorhergesagt wurde, normalisiert durch die Anzahl der Datenpunkte. Weitere Details hierzu enthält die Dokumentation zu Apache Spark unter Multi-class classification.

  • Binärklassifikation: Bei einem binären Klassifikationsalgorithmus wird die Fläche unter einer ROC-Kurve als Maß für die Genauigkeit verwendet. Weitere Details hierzu enthält die Dokumentation zu Apache Spark unter Binary classification.

  • Regression: Regressionsalgorithmen werden mit dem Koeffizient der Bestimmung oder R2gemessen. Weitere Details hierzu enthält die Dokumentation zu Apache Spark unter Regression model evaluation.

Rate der wahr positiven Ergebnisse

• Beschreibung: Anteil der korrekten Vorhersagen an den Vorhersagen der positiven Klasse
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Binärklassifikation
• Diagrammwerte: Letzter Wert im Zeitrahmen
• Metrikdetails verfügbar: Wahrheitsmatrix
• Mathematik:

Die wahr-positive Rate wird mit der folgenden Formel berechnet:

                  number of true positives
TPR =  _________________________________________________________

        (number of true positives + number of false negatives)

Rate der falsch positiven Ergebnisse

• Beschreibung: Anteil der falschen Vorhersagen in der positiven Klasse
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Binärklassifikation
• Diagrammwerte: Letzter Wert im Zeitrahmen
• Metrikdetails verfügbar: Wahrheitsmatrix
• Mathematik:

Die falsch-positive Rate ist der Quotient aus der Gesamtzahl der falsch-positiven Ergebnisse, der durch die Summe der falsch-positiven und wahr-negativen Ergebnisse dividiert wird.

                        number of false positives
False positive rate =  ______________________________________________________

                       (number of false positives + number of true negatives)

Rückruf

• Beschreibung: Anteil der korrekten Vorhersagen in der positiven Klasse
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Binärklassifikation
• Diagrammwerte: Letzter Wert im Zeitrahmen
• Metrikdetails verfügbar: Wahrheitsmatrix
• Mathematik:

Trefferquote (Recall, R) ist definiert als die Anzahl der wahr-positiven Werte (Tp) innerhalb der Anzahl der wahr-positiven Werte plus die Anzahl der falsch-negativen Werte (Fn).

                       number of true positives
Recall =   ______________________________________________________

           (number of true positives + number of false negatives)

Genauigkeit

• Beschreibung: Anteil der korrekten Vorhersagen an den Vorhersagen der positiven Klasse
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Binärklassifikation
• Diagrammwerte: Letzter Wert im Zeitrahmen
• Metrikdetails verfügbar: Wahrheitsmatrix
• Mathematik:

Die Genauigkeit (Precision, P) ist definiert als die Anzahl der wahr-positiven Werte (Tp) innerhalb der Anzahl der wahr-positiven Werte plus die Anzahl der falsch-positiven Werte (Fp).

                           number of true positives
Precision =  __________________________________________________________

             (number of true positives + the number of false positives)

F1-Measure

• Beschreibung: Harmonisches Mittel aus Genauigkeit und Trefferquote
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Binärklassifikation
• Diagrammwerte: Letzter Wert im Zeitrahmen
• Metrikdetails verfügbar: Wahrheitsmatrix
• Mathematik:

Das F1-measure ist der gewichtete harmonische Mittelwert aus Genauigkeit und Trefferquote.

          (precision * recall)
F1 = 2 *  ____________________

          (precision + recall)

Gini-Koeffizient

• Beschreibung: Der Gini-Koeffizient misst, wie gut Modelle zwischen zwei Klassen unterscheiden. Sie wird als doppelt so große Fläche zwischen der ROC-Kurve und der diagonalen Linie des Diagrammdiagramms berechnet. Wenn der Gini-Koeffizientenwert 0 ist, zeigt das Modell keine Diskriminierungsfähigkeit an und der Wert 1 gibt perfekte Diskriminierung an.
• Standardschwellenwerte:
  • Untergrenze = 80%
• Problemtyp: Binärklassifikation
• Diagrammwerte: Letzter Wert im Zeitrahmen
• Metrikdetails verfügbar: Wahrheitsmatrix
• Mathematik:

Die Gini Koeffizient-Metrik wird mit der folgenden Formel berechnet:

Gini = 2 * Area under ROC - 1

Logarithmischer Verlust

• Beschreibung: Durchschnitt der logarithmischen Zielklassenwarscheinlichkeiten (Konfidenz). Wird auch als 'Erwartete Log-Likelihood' bezeichnet.
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Binärklassifikation und Mehrklassenklassifikation
• Diagrammwerte: Letzter Wert im Zeitrahmen
• Metrikdetails verfügbar: Keine
• Mathematik:

Für ein binäres Modell wird der logarithmische Verlust mit der folgenden Formel berechnet:

-(y log(p) + (1-y)log(1-p))

Dabei ist p die Kennzeichnung für 'True" und y die vorhergesagte Wahrscheinlichkeit.

Für ein Mehrfachklassenmodell wird der logarithmische Verlust mit der folgenden Formel berechnet:

  M
-SUM Yo,c log(Po,c)
 c=1 

Dabei ist M > 2, p die wahre Kennzeichnung und y die vorhergesagte Wahrscheinlichkeit.

Proportion der erklärten Varianz

• Beschreibung: Die proportionale erklärte Varianz gibt das Verhältnis der erklärten Varianz zur Zielvarianz an. Die erklärte Varianz ist die Differenz zwischen der Zielvarianz und der Varianz des Vorhersagefehlers.
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Regression
• Diagrammwerte: Letzter Wert im Zeitrahmen
• Metrikdetails verfügbar: Keine
• Mathematik:

Die Proportion der erklärten Varianz wird durch Mittelwertbildung der Zahlen berechnet, dann für jede Zahl den Mittelwert subtrahieren und die Ergebnisse quadratisch darstellen. Dann die Quadrate berechnen.

                                  sum of squares between groups 
Proportion explained variance =  ________________________________

                                      sum of squares total

Mittelwert-absoluter Fehler

• Beschreibung: Durchschnitt der absoluten Differenz zwischen Modellvorhersage und Zielwert
• Standardschwellenwerte: Obergrenze = 80 %
• Problemtyp: Regression
• Diagrammwerte: Letzter Wert im Zeitrahmen
• Metrikdetails verfügbar: Keine
• Mathematik:

Der mittlere absolute Fehler wird berechnet, indem alle absoluten Fehler addiert und durch die Anzahl der Fehler dividiert werden.

                         SUM  | Yi - Xi | 
Mean absolute errors =  ____________________

                          number of errors

Mittlerer quadratischer Fehler

• Beschreibung: Durchschnitt der quadrierten Differenz zwischen Modellvorhersage und Zielwert
• Standardschwellenwerte: Obergrenze = 80 %
• Problemtyp: Regression
• Diagrammwerte: Letzter Wert im Zeitrahmen
• Metrikdetails verfügbar: Keine
• Mathematik:

Der mittlere quadratische Fehler in seiner einfachsten Form wird durch die folgende Formel dargestellt:

                         SUM  (Yi - ^Yi) * (Yi - ^Yi)
Mean squared errors  =  ____________________________

                             number of errors

R-Quadrat

• Beschreibung: Verhältnis der Differenz zwischen Zielvarianz und Varianz des Vorhersagefehlers zur Zielvarianz.
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Regression
• Diagrammwerte: Letzter Wert im Zeitrahmen
• Metrikdetails verfügbar: Keine
• Mathematik:

Die Metrik "R-Quadrat" ist in der folgenden Formel definiert.

                  explained variation
R-squared =       _____________________

                    total variation

Wurzel des mittleren quadratischen Fehlers

• Beschreibung: Quadratwurzel der mittleren quadratischen Differenz zwischen Modellvorhersage und Zielwert
• Standardschwellenwerte: Obergrenze = 80 %
• Problemtyp: Regression
• Diagrammwerte: Letzter Wert im Zeitrahmen
• Metrikdetails verfügbar: Keine
• Mathematik:

Die Wurzel des mittleren quadratischen Fehlers ist gleich der Quadratwurzel des mittleren quadratischen Mittelwerts (Vorhersagen minus beobachtete Werte).

          ___________________________________________________________
RMSE  =  √(forecasts - observed values)*(forecasts - observed values)

Gewichtete Rate von Wahr-positiven

• Beschreibung: Gewichteter Mittelwert der wahr-positiven Rate für eine Klasse mit Gewichtungen, die der Klassenwahrscheinlichkeit entsprechen
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Mehrklassenklassifikation
• Diagrammwerte: Letzter Wert im Zeitrahmen
• Metrikdetails verfügbar: Wahrheitsmatrix
• Mathematik:

Die wahr-positive Rate wird mit der folgenden Formel berechnet:

                  number of true positives
TPR =  _________________________________________________________

        number of true positives + number of false negatives

Gewichtete Rate von Falsch-positiven

• Beschreibung: Anteil der falschen Vorhersagen in der positiven Klasse
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Mehrklassenklassifikation
• Diagrammwerte: Letzter Wert im Zeitrahmen
• Metrikdetails verfügbar: Wahrheitsmatrix
• Mathematik:

Die gewichtete falsch-positive Rate ist die Anwendung der FPR mit gewichteten Daten.

                   number of false positives
FPR =  ______________________________________________________

       (number of false positives + number of true negatives)

Gewichtete Trefferquote

• Beschreibung: Gewichteter Mittelwert der Trefferquote mit Gewichtungen, die der Klassenwahrscheinlichkeit entsprechen
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Mehrklassenklassifikation
• Diagrammwerte: Letzter Wert im Zeitrahmen
• Metrikdetails verfügbar: Wahrheitsmatrix
• Mathematik:

Die gewichtete Trefferquote - Weighted Recall (wR) - ist als die Anzahl von wahr-positiven Ergebnissen (Tp: True Positives) geteilt durch die Anzahl der wahr-positiven Ergebnisse plus der Anzahl der falsch-negativen Ergebnisse (Fn: False Positives) definiert, wobei gewichtete Daten verwendet werden.

                          number of true positives
Recall =   ______________________________________________________

           number of true positives + number of false negatives

Gewichtete Genauigkeit

• Beschreibung: Gewichteter Mittelwert der Genauigkeit mit Gewichtungen, die der Klassenwahrscheinlichkeit entsprechen
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Mehrklassenklassifikation
• Diagrammwerte: Letzter Wert im Zeitrahmen
• Metrikdetails verfügbar: Wahrheitsmatrix
• Mathematik:

Die Genauigkeit (Precision, P) ist definiert als die Anzahl der wahr-positiven Werte (Tp) innerhalb der Anzahl der wahr-positiven Werte plus die Anzahl der falsch-positiven Werte (Fp).

                            number of true positives
Precision =  ________________________________________________________

             number of true positives + the number of false positives

Gewichtetes F1-Maß

• Beschreibung: Gewichteter Mittelwert der F1-Messung mit Gewichtungen, die der Klassenwahrscheinlichkeit entsprechen
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Mehrklassenklassifikation
• Diagrammwerte: Letzter Wert im Zeitrahmen
• Metrikdetails verfügbar: Wahrheitsmatrix
• Mathematik:

Die gewichtete F1-Messung ist das Ergebnis der Verwendung gewichteter Daten.

           precision * recall
F1 = 2 *  ____________________

           precision + recall

Konfigurieren von Qualitätsauswertungen mit historischen Daten

Sie können Qualitätsauswertungen auch so konfigurieren, dass Metriken mit historischen Bewertungsdaten aus früheren Zeitfenstern generiert werden. Zur Konfiguration von Auswertungen mit historischen Bewertungsdaten können Sie das Python SDK verwenden, um Parameter für die Berechnung von Metriken in einem einzigen Zeitfenster mit Start- und Enddatum festzulegen:

parameters = {
    "start_date": "2024-08-05T11:00:18.0000Z",
    "end_date": "2024-08-05T14:00:18.0000Z"
}
run_details = wos_client.monitor_instances.run(monitor_instance_id=quality_monitor_instance_id, parameters = run_parameters, background_mode=False).result

Weitere Informationen

Überprüfung der Qualitätsergebnisse für Modelle des maschinellen Lernens

Übergeordnetes Thema: Modellevaluierungen konfigurieren