Konfigurieren von Qualitätsbewertungen für Modelle des maschinellen Lernens

Konfigurieren von Qualitätsbewertungen für generative KI-Modelle

Wenn Sie Eingabeaufforderungsvorlagen auswerten, können Sie eine Zusammenfassung der Qualitätsbewertungsergebnisse für den Aufgabentyp "Textklassifikation" überprüfen.

In der Zusammenfassung werden Bewertungen und Verstöße für Metriken angezeigt, die mit Standardeinstellungen berechnet werden.

Um Qualitätsbewertungen mit Ihren eigenen Einstellungen zu konfigurieren, können Sie einen Mindeststichprobenumfang und Schwellenwerte für jede Metrik festlegen. Der Mindestumfang der Stichprobe gibt die Mindestanzahl der Modelltransaktionsdatensätze an, die ausgewertet werden sollen, und die Schwellenwerte erstellen Alerts, wenn Ihre Metrikbewertungen gegen Ihre Schwellenwerte verstoßen. Die Metrikbewertungen müssen höher als die Schwellenwerte sein, um Verstöße zu verhindern. Höhere Metrikwerte bedeuten bessere Scores.

Unterstützte Qualitätsmetriken

Unterstützte Sprachen: Nur Englisch

Wenn Sie Qualitätsauswertungen aktivieren, können Sie Metriken erstellen, mit deren Hilfe Sie feststellen können, wie gut Ihr Modell Ergebnisse vorhersagt. Die Werte, die als Metrikschwellenwerte festgelegt werden, bestimmen, wie Sie Ihre Metrikscores interpretieren können. Bei Metriken, die mit niedrigeren Schwellenwerten konfiguriert sind, zeigen höhere Bewertungen bessere Ergebnisse an. Bei Metriken, die mit oberen Schwellenwerten konfiguriert sind, zeigen niedrigere Bewertungen bessere Ergebnisse an.

Qualitätsbewertungen generieren die folgenden Metriken:

Fläche unter ROC

• Unterstützte Modelle: Maschinelles Lernen
• Beschreibung: Bereich unter Kurve für Trefferquote und Falsch-positiv-Rate zur Berechnung der Sensitivität gegenüber der Fallout-Rate
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Binäre Klassifizierung
• Diagrammwerte: letzter Wert im Zeitrahmen
• Verfügbare Metrikdetails: Wahrheitsmatrix

Fläche unter PR

• Unterstützte Modelle: Maschinelles Lernen
• Beschreibung: Die Fläche, die sich unterhalb der PR-Kurve (PR = Precision Recall) befindet.
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Binäre Klassifizierung
• Diagrammwerte: letzter Wert im Zeitrahmen
• Verfügbare Metrikdetails: Wahrheitsmatrix
• Mathematik:

Der Bereich unter 'Genauigkeitsrückruf' gibt die Summe für beide Precision + Recallan.

       n
AveP = ∑ P(k)∆r(k)
      k=1

Die Genauigkeit (P) ist definiert als die Anzahl der wahr-positiven Werte (Tp) gegenüber der Anzahl der wahr-positiven Werte plus der Anzahl der falsch-positiven Werte (Fp).

               number of true positives
Precision =   ______________________________________________________

              (number of true positives + number of false positives)

Die Trefferquote (R) ist definiert als die Anzahl der wahr-positiven Werte (Tp) gegenüber der Anzahl der wahr-positiven Werte plus der Anzahl der falsch-negativen Werte (Fn).

            number of true positives
Recall =   ______________________________________________________

           (number of true positives + number of false negatives)

Genauigkeit

• Unterstützte Modelle: Maschinelles Lernen und generative KI
• Beschreibung: Der Anteil korrekter Vorhersagen
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtypen: Binäre Klassifizierung und Klassifizierung mit mehreren Klassen
• Diagrammwerte: letzter Wert im Zeitrahmen
• Verfügbare Metrikdetails: Wahrheitsmatrix
• Genauigkeit verstehen:
  Die Genauigkeit kann je nach Algorithmustyp unterschiedliche Dinge bedeuten.

  • Mehrklassige Klassifizierung: Die Genauigkeit misst die Zahl der korrekten Vorhersagen einer beliebigen Klasse bei Normalisierung der Anzahl der Datenpunkte. Weitere Details hierzu enthält die Dokumentation zu Apache Spark unter Multi-class classification.

  • Binäre Klassifizierung: Bei einem Algorithmus für die binäre Klassifizierung wird die Genauigkeit als die Fläche unter einer ROC-Kurve gemessen. Weitere Details hierzu enthält die Dokumentation zu Apache Spark unter Binary classification.

  • Regression: Regressionsalgorithmen werden mit dem Koeffizient der Bestimmung oder R2gemessen. Weitere Details hierzu enthält die Dokumentation zu Apache Spark unter Regression model evaluation.

Wahr-Positiv-Rate

• Unterstützte Modelle: Maschinelles Lernen
• Beschreibung: Anteil der richtigen Vorhersagen innerhalb der Vorhersagen in der positiven Klasse.
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Binäre Klassifizierung
• Diagrammwerte: letzter Wert im Zeitrahmen
• Verfügbare Metrikdetails: Wahrheitsmatrix
• Mathematik:

Die Wahr-positiv-Rate (TPR) wird anhand der folgenden Formel berechnet:

                  number of true positives
TPR =  _________________________________________________________

        (number of true positives + number of false negatives)

Rate des falschen positiven Wertes

• Unterstützte Modelle: Maschinelles Lernen
• Beschreibung: Anteil der falschen Vorhersagen innerhalb der positiven Klasse.
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Binäre Klassifizierung
• Diagrammwerte: letzter Wert im Zeitrahmen
• Verfügbare Metrikdetails: Wahrheitsmatrix
• Mathematik:

Die falsch-positive Rate ist der Quotient aus der Gesamtzahl der falsch-positiven Ergebnisse, der durch die Summe der falsch-positiven und wahr-negativen Ergebnisse dividiert wird.

                        number of false positives
False positive rate =  ______________________________________________________

                       (number of false positives + number of true negatives)

Brier-Score

• Unterstützte Modelle: Maschinelles Lernen
• Beschreibung: misst die mittlere quadratische Differenz zwischen der vorhergesagten Wahrscheinlichkeit und dem Zielwert. Höhere Scores geben an, dass die vorhergesagten Wahrscheinlichkeiten des Modells nicht mit dem Zielwert übereinstimmen.
• Standardschwellenwerte:
  • Obergrenze = 80%
• Problemtyp: Binäre Klassifizierung
• Mathematik:

Die Brier-Score-Metrik wird mit der folgenden Formel berechnet:

BrierScore = 1/N * sum( (p - y)^2 )
Where  y = actual outcome, and p = predicted probability

Gini-Koeffizient

• Unterstützte Modelle: Maschinelles Lernen
• Beschreibung: Der Gini-Koeffizient misst, wie gut Modelle zwischen zwei Klassen unterscheiden. Sie wird als doppelt so große Fläche zwischen der ROC-Kurve und der diagonalen Linie des Diagrammdiagramms berechnet. Wenn der Gini-Koeffizientenwert 0 ist, zeigt das Modell keine Diskriminierungsfähigkeit an und der Wert 1 gibt perfekte Diskriminierung an.
• Standardschwellenwerte:
  • Untergrenze = 80%
• Problemtyp: Binäre Klassifizierung
• Diagrammwerte: letzter Wert im Zeitrahmen
• Verfügbare Metrikdetails: Wahrheitsmatrix
• Mathematik:

Die Gini Koeffizient-Metrik wird mit der folgenden Formel berechnet:

Gini = 2 * Area under ROC - 1

Bezeichnungsabweichung

• Unterstützte Modelle: Generative KI und maschinelles Lernen
• Beschreibung: Misst die Asymmetrie von Bezeichnungsverteilungen. Wenn die Schiefe 0 ist, ist der Datensatz perfekt ausgeglichen, wenn sie kleiner als -1 oder größer als 1 ist, ist die Verteilung stark schief, alles dazwischen ist mäßig schief.
• Standardschwellenwerte:
  • Untergrenze = -0.5
  • Obergrenze = 0.5
• Problemtypen: Binäre Klassifizierung und Klassifikation mehrerer Klassen
• Diagrammwerte: letzter Wert im Zeitrahmen

Matthews-Korrelationskoeffizient

• Unterstützte Modelle: Generative KI und maschinelles Lernen
• Beschreibung: Misst die Qualität von binären Klassifizierungen und Klassifizierungen mit mehreren Klassen unter Berücksichtigung von wahr-und falsch-positiven und negativen Klassifizierungen. Ausgewogenes Maß, das auch verwendet werden kann, wenn die Klassen unterschiedliche Größen haben. Ein Korrelationskoeffizient zwischen -1 und +1. Ein Koeffizient von +1 steht für eine perfekte Vorhersage, 0 für eine durchschnittliche Zufallsvorhersage und -1 für eine inverse Vorhersage.
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtypen: Binäre Klassifizierung und Klassifikation mehrerer Klassen
• Diagrammwerte: letzter Wert im Zeitrahmen
• Metrikdetails verfügbar: Wahrheitsmatrix

Mittlerer absoluter Fehler in Prozent

• Unterstützte Modelle: Maschinelles Lernen
• Standard-Schwellenwerte: Obergrenze = 0.2
• Problemtyp: Regression
• Beschreibung: Misst die mittlere prozentuale Fehlerdifferenz zwischen den vorhergesagten und den tatsächlichen Werten
• Mathematik:

Der mittlere absolute Fehler in Prozent wird mit der folgenden Formel berechnet:

A ist der tatsächliche Wert und P ist der vorhergesagte Wert.

Symmetrischer mittlerer absoluter Fehler in Prozent

• Unterstützte Modelle: Maschinelles Lernen
• Standard-Schwellenwerte: Obergrenze = 0.2
• Problemtyp: Regression
• Beschreibung: Misst den symmetrischen Mittelwert des prozentualen Fehlers der Differenz zwischen den vorhergesagten und den tatsächlichen Werten
• Mathematik:

Der symmetrische mittlere absolute Fehler in Prozent wird mit der folgenden Formel berechnet:

A ist der tatsächliche Wert und P ist der vorhergesagte Wert.

Pearson-Korrelationskoeffizient

• Unterstützte Modelle: Maschinelles Lernen
• Standardschwelle: Untere Grenze = 80%
• Problemtyp: Regression
• Beschreibung: Der Pearson-Korrelationskoeffizient (Pearson) misst die lineare Beziehung zwischen Modellvorhersage und Zielwerten. Die Pearson-Metrik berechnet einen Korrelationskoeffizientenwert zwischen -1 und +1. Ein Korrelationswert von -1 oder +1 bedeutet, dass eine exakte lineare Beziehung besteht, und ein Wert von 0 bedeutet keine Korrelation. Positive Korrelationen zeigen an, dass die Variablen gleichzeitig zunehmen, und negative Korrelationen zeigen an, dass eine Variable zunimmt, während eine andere Variable abnimmt. Hohe positive Werte zeigen an, dass das Modell Werte vorhersagt, die den Zielwerten ähnlich sind.

Korrelationskoeffizient nach Spearman

• Unterstützte Modelle: Maschinelles Lernen
• Standardschwelle: Untere Grenze = 80%
• Problemtyp: Regression
• Diagrammwerte: letzter Wert im Zeitrahmen
• Beschreibung: Der Korrelationskoeffizient der Rangordnung nach Spearman (Spearman) misst die Monotonie der Beziehung zwischen Modellvorhersagen und Zielwerten. Die Spearman-Metrik berechnet einen Korrelationskoeffizientenwert zwischen -1 und +1. Ein Korrelationswert von -1 oder +1 bedeutet, dass eine exakte monotone Beziehung besteht, und ein Wert von 0 bedeutet keine Korrelation. Positive Korrelationen zeigen an, dass die Variablen gleichzeitig zunehmen, und negative Korrelationen zeigen an, dass eine Variable zunimmt, während eine andere Variable abnimmt.

Trefferquote

• Unterstützte Modelle: Maschinelles Lernen
• Beschreibung: Anteil der richtigen Vorhersagen innerhalb der positiven Klasse.
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Binäre Klassifizierung
• Diagrammwerte: letzter Wert im Zeitrahmen
• Verfügbare Metrikdetails: Wahrheitsmatrix
• Mathematik:

Die Trefferquote (R) ist definiert als die Anzahl der wahr-positiven Werte (Tp) gegenüber der Anzahl der wahr-positiven Werte plus der Anzahl der falsch-negativen Werte (Fn).

                       number of true positives
Recall =   ______________________________________________________

           (number of true positives + number of false negatives)

Genauigkeit

• Unterstützte Modelle: Maschinelles Lernen
• Beschreibung: Anteil der richtigen Vorhersagen innerhalb der Vorhersagen in der positiven Klasse.
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Binäre Klassifizierung
• Diagrammwerte: letzter Wert im Zeitrahmen
• Verfügbare Metrikdetails: Wahrheitsmatrix
• Mathematik:

Die Genauigkeit (P) ist definiert als die Anzahl der wahr-positiven Werte (Tp) gegenüber der Anzahl der wahr-positiven Werte plus der Anzahl der falsch-positiven Werte (Fp).

                           number of true positives
Precision =  __________________________________________________________

             (number of true positives + the number of false positives)

F1-Measure

• Unterstützte Modelle: Maschinelles Lernen
• Beschreibung: harmonisches Mittel von Genauigkeit und Trefferquote
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Binäre Klassifizierung
• Diagrammwerte: letzter Wert im Zeitrahmen
• Verfügbare Metrikdetails: Wahrheitsmatrix
• Mathematik:

Das F1-measure ist der gewichtete harmonische Mittelwert aus Genauigkeit und Trefferquote.

          (precision * recall)
F1 = 2 *  ____________________

          (precision + recall)

Logarithmischer Verlust

• Unterstützte Modelle: Maschinelles Lernen
• Beschreibung: Mittelwert der Zielklassenwahrscheinlichkeit (Konfidenz) der Logarithmen. Sie wird auch als erwartete Log-Likelihood (Log-Wahrscheinlichkeit) bezeichnet.
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtypen: Binäre Klassifizierung und Klassifikation mehrerer Klassen
• Diagrammwerte: letzter Wert im Zeitrahmen
• Verfügbare Metrikdetails: keine
• Mathematik:

Bei einem binären Modell wird der logarithmische Verlust anhand der folgenden Formel berechnet:

-(y log(p) + (1-y)log(1-p))

Dabei ist p die Kennzeichnung für 'True" und y die vorhergesagte Wahrscheinlichkeit.

Für ein Modell mit mehreren Klassen wird der logarithmische Verlust mithilfe der folgenden Formel berechnet:

  M
-SUM Yo,c log(Po,c)
 c=1 

Dabei ist M > 2, p die wahre Kennzeichnung und y die vorhergesagte Wahrscheinlichkeit.

Proportion der erklärten Varianz

• Unterstützte Modelle: Maschinelles Lernen
• Beschreibung: Die Proportion der erklärten Varianz stellt das Verhältnis der erklärten Varianz zur Zielvarianz dar. Die erklärte Varianz ist die Differenz zwischen der Zielvarianz und der Varianz des Vorhersagefehlers.
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Regression
• Diagrammwerte: letzter Wert im Zeitrahmen
• Verfügbare Metrikdetails: keine
• Mathematik:

Die Proportion der erklärten Varianz wird durch Mittelwertbildung der Zahlen berechnet, dann für jede Zahl den Mittelwert subtrahieren und die Ergebnisse quadratisch darstellen. Dann die Quadrate berechnen.

                                  sum of squares between groups 
Proportion explained variance =  ________________________________

                                      sum of squares total

Mittelwert-absoluter Fehler

• Unterstützte Modelle: Maschinelles Lernen
• Beschreibung: Der Mittelwert der absoluten Differenz zwischen der Modellvorhersage und dem Zielwert.
• Standardschwellenwerte: Obergrenze = 80 %
• Problemtyp: Regression
• Diagrammwerte: letzter Wert im Zeitrahmen
• Verfügbare Metrikdetails: keine
• Mathematik:

Der mittlere absolute Fehler wird berechnet, indem alle absoluten Fehler addiert und durch die Anzahl der Fehler dividiert werden.

                         SUM  | Yi - Xi | 
Mean absolute errors =  ____________________

                          number of errors

Mittlerer quadratischer Fehler

• Unterstützte Modelle: Maschinelles Lernen
• Beschreibung: Der Mittelwert der quadrierten Differenz zwischen der Modellvorhersage und dem Zielwert.
• Standardschwellenwerte: Obergrenze = 80 %
• Problemtyp: Regression
• Diagrammwerte: letzter Wert im Zeitrahmen
• Verfügbare Metrikdetails: keine
• Mathematik:

Der mittlere quadratische Fehler in seiner einfachsten Form wird durch die folgende Formel dargestellt:

                         SUM  (Yi - ^Yi) * (Yi - ^Yi)
Mean squared errors  =  ____________________________

                             number of errors

R-Quadrat

• Unterstützte Modelle: Maschinelles Lernen
• Beschreibung: Das Verhältnis der Differenz zwischen der Zielvarianz und der Varianz für einen Vorhersagefehler in Bezug zur Zielvarianz.
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Regression
• Diagrammwerte: letzter Wert im Zeitrahmen
• Verfügbare Metrikdetails: keine
• Mathematik:

Die Metrik "R-Quadrat" ist in der folgenden Formel definiert.

                  explained variation
R-squared =       _____________________

                    total variation

Wurzel für mittleren quadratischen Fehler

• Unterstützte Modelle: Maschinelles Lernen
• Beschreibung: Quadratwurzel des Mittelwerts der quadrierten Differenz zwischen der Modellvorhersage und dem Zielwert.
• Standardschwellenwerte: Obergrenze = 80 %
• Problemtyp: Regression
• Diagrammwerte: letzter Wert im Zeitrahmen
• Verfügbare Metrikdetails: keine
• Mathematik:

Die Wurzel des mittleren quadratischen Fehlers ist gleich der Quadratwurzel des mittleren quadratischen Mittelwerts (Vorhersagen minus beobachtete Werte).

          ___________________________________________________________
RMSE  =  √(forecasts - observed values)*(forecasts - observed values)

Gewichtete Rate von Wahr-positiven

• Unterstützte Modelle: Maschinelles Lernen und generative KI
• Beschreibung: Gewichteter Mittelwert der Klasse TPR mit Gewichtungen, die gleich der Klassenwahrscheinlichkeit sind.
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Klassifikation mehrerer Klassen
• Diagrammwerte: letzter Wert im Zeitrahmen
• Verfügbare Metrikdetails: Wahrheitsmatrix
• Mathematik:

Die Wahr-positiv-Rate (TPR) wird anhand der folgenden Formel berechnet:

                  number of true positives
TPR =  _________________________________________________________

        number of true positives + number of false negatives

Gewichtete Rate von Falsch-positiven

• Unterstützte Modelle: Maschinelles Lernen und generative KI
• Beschreibung: Anteil der falschen Vorhersagen innerhalb der positiven Klasse.
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Klassifikation mehrerer Klassen
• Diagrammwerte: letzter Wert im Zeitrahmen
• Verfügbare Metrikdetails: Wahrheitsmatrix
• Mathematik:

Die gewichtete Falsch-positiv-Rate (wFPR) ergibt sich aus der Anwendung der Falsch-positiv-Rate (FPR) mit gewichteten Daten.

                   number of false positives
FPR =  ______________________________________________________

       (number of false positives + number of true negatives)

Gewichtete Trefferquote

• Unterstützte Modelle: Maschinelles Lernen und generative KI
• Beschreibung: Gewichteter Mittelwert der Trefferquote mit Gewichtungen, die gleich der Klassenwahrscheinlichkeit sind.
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Klassifikation mehrerer Klassen
• Diagrammwerte: letzter Wert im Zeitrahmen
• Verfügbare Metrikdetails: Wahrheitsmatrix
• Mathematik:

Die gewichtete Trefferquote - Weighted Recall (wR) - ist als die Anzahl von wahr-positiven Ergebnissen (Tp: True Positives) geteilt durch die Anzahl der wahr-positiven Ergebnisse plus der Anzahl der falsch-negativen Ergebnisse (Fn: False Positives) definiert, wobei gewichtete Daten verwendet werden.

                          number of true positives
Recall =   ______________________________________________________

           number of true positives + number of false negatives

Gewichtete Genauigkeit

• Unterstützte Modelle: Maschinelles Lernen und generative KI
• Beschreibung: Gewichteter Mittelwert der Genauigkeit mit Gewichtungen, die gleich der Klassenwahrscheinlichkeit sind.
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Klassifikation mehrerer Klassen
• Diagrammwerte: letzter Wert im Zeitrahmen
• Verfügbare Metrikdetails: Wahrheitsmatrix
• Mathematik:

Die Genauigkeit (P) ist definiert als die Anzahl der wahr-positiven Werte (Tp) gegenüber der Anzahl der wahr-positiven Werte plus der Anzahl der falsch-positiven Werte (Fp).

                            number of true positives
Precision =  ________________________________________________________

             number of true positives + the number of false positives

Gewichtetes F1-Maß

• Unterstützte Modelle: Maschinelles Lernen und generative KI
• Beschreibung: Gewichteter Mittelwert des F1-Maßes mit Gewichtungen, die gleich der Klassenwahrscheinlichkeit sind.
• Standardschwellenwerte: Untergrenze = 80 %
• Problemtyp: Klassifikation mehrerer Klassen
• Diagrammwerte: letzter Wert im Zeitrahmen
• Verfügbare Metrikdetails: Wahrheitsmatrix
• Mathematik:

Das gewichtete F1-Maß ist das Ergebnis der Verwendung gewichteter Daten.

           precision * recall
F1 = 2 *  ____________________

           precision + recall

Konfigurieren von Qualitätsauswertungen mit historischen Daten

Sie können Qualitätsauswertungen auch so konfigurieren, dass Metriken mit historischen Bewertungsdaten aus früheren Zeitfenstern generiert werden. Zur Konfiguration von Auswertungen mit historischen Bewertungsdaten können Sie das Python SDK verwenden, um Parameter für die Berechnung von Metriken in einem einzigen Zeitfenster mit Start- und Enddatum festzulegen:

parameters = {
    "start_date": "2024-08-05T11:00:18.0000Z",
    "end_date": "2024-08-05T14:00:18.0000Z"
}
run_details = wos_client.monitor_instances.run(monitor_instance_id=quality_monitor_instance_id, parameters = run_parameters, background_mode=False).result

Weitere Informationen

Überprüfung der Qualitätsergebnisse für Modelle des maschinellen Lernens

Übergeordnetes Thema: Modellevaluierungen konfigurieren