Konfigurieren von Qualitätsbewertungen
Sie können Qualitätsbewertungen konfigurieren, um die Fähigkeit Ihres Modells zu messen, korrekte Ergebnisse zu liefern, basierend auf der Leistung des Modells.
Qualitätsbewertungen messen, wie gut Ihr Modell genaue Ergebnisse vorhersagt, indem sie feststellen, wann die Modellqualität nachlässt, so dass Sie Ihr Modell entsprechend neu trainieren können. Um das Modell auszuwerten, stellen Sie Feedbackdatenbereit, bei denen es sich um Daten handelt, bei denen das Ergebnis bekannt ist. Qualitätsbewertungen verwenden Metriken, um zu bewerten, wie gut das Modell Ergebnisse vorhersagt, die mit den tatsächlichen Ergebnissen im beschrifteten Dataset übereinstimmen.
In den folgenden Abschnitten wird beschrieben, wie Qualitätsbewertungen konfiguriert werden:
Konfigurieren von Qualitätsbewertungen für Modelle des maschinellen Lernens
Vorbereitende Schritte: Feedbackdaten bereitstellen
Die Feedbackdaten sind vergleichbar mit der Bereitstellung eines Antwortblatts mit tatsächlichen beobachteten Ergebnissen. Die Überwachung kann das Modell so ausführen, als wären die Antworten nicht bekannt. Anschließend können Sie die vorhergesagten Ergebnisse mit den tatsächlichen Ergebnissen vergleichen und Genauigkeitsscores auf der Basis von Qualitätsmetriken bereitstellen.
Um die Feedbackdaten bereitzustellen, die Sie zum Auswerten des Modells verwenden werden, klicken Sie auf die Seite Endpunkte und führen Sie einen der folgenden Schritte aus:
- Klicken Sie auf Feedbackdaten hochladen und laden Sie eine Datei mit beschrifteten Daten hoch.
- Klicken Sie auf die Registerkarte Endpunkte und geben Sie einen Endpunkt an, der eine Verbindung zur Feedbackdatenquelle herstellt.
Details finden Sie unter Feedbackdaten verwalten.
Qualitätsschwellenwerte festlegen
Nachdem Ihre Feedbackdaten für die Auswertung verfügbar sind, konfigurieren Sie die Monitoreinstellungen. Sie legen Schwellenwerte für die akzeptable Leistung des Modells im Vergleich zu den bekannten Ergebnissen fest.
Um die Schwellenwerte festzulegen, klicken Sie auf der Registerkarte Qualität auf das Symbol Bearbeiten 
, um Werte für das Feld Qualitätsschwellenwert einzugeben, und bearbeiten Sie dann die Werte für den Stichprobenumfang.
Alertschwellenwert für Qualität
Wählen Sie einen Wert aus, der einen akzeptablen Genauigkeitsgrad darstellt. Beispiel: Im deutschen Kreditrisikomodell , das mit der automatischen Konfiguration bereitgestellt wird, wird der Alert für die Metrik "Fläche unter ROC" auf 95%festgelegt. Wenn die gemessene Qualität für das Modell unter diesen Wert fällt, wird ein Alert ausgelöst. Ein typischer Wert für die Fläche unter ROC ist 80%.
Mindest- und maximale Stichprobengröße
Durch das Festlegen eines Mindeststichprobenumfangs wird die Qualitätsmessung verhindert, bis eine Mindestanzahl Datensätze im Bewertungsdatenbestand verfügbar ist. Dadurch wird sichergestellt, dass die Ergebnisse nicht etwa durch einen zu kleinen Stichprobenumfang verfälscht werden. Bei jeder Durchführung der Qualitätsprüfung wird jeweils der Mindeststichprobenumfang verwendet, um die Anzahl der Datensätze zu bestimmen, für die die Berechnung der Qualitätsmetriken ausgeführt wird.
Der maximale Stichprobenumfang trägt dazu bei, den Zeit-und Ressourcenbedarf für die Auswertung des Datasets besser zu verwalten. Bei Überschreitung dieses Umfangs werden nur die neuesten Datensätze ausgewertet. Beispiel: In der Stichprobe Deutsches Kreditrisikomodell wird der Mindeststichprobenumfang auf 50 gesetzt und es ist keine Maximalgröße angegeben, da es sich um eine kleine Stichprobe handelt.
Konfigurieren von Qualitätsbewertungen für generative KI-Modelle
Wenn Sie Eingabeaufforderungsvorlagen auswerten, können Sie eine Zusammenfassung der Qualitätsbewertungsergebnisse für den Aufgabentyp "Textklassifikation" überprüfen.
In der Zusammenfassung werden Bewertungen und Verstöße für Metriken angezeigt, die mit Standardeinstellungen berechnet werden.
Um Qualitätsbewertungen mit Ihren eigenen Einstellungen zu konfigurieren, können Sie einen Mindeststichprobenumfang und Schwellenwerte für jede Metrik festlegen. Der Mindestumfang der Stichprobe gibt die Mindestanzahl der Modelltransaktionsdatensätze an, die ausgewertet werden sollen, und die Schwellenwerte erstellen Alerts, wenn Ihre Metrikbewertungen gegen Ihre Schwellenwerte verstoßen. Die Metrikbewertungen müssen höher als die Schwellenwerte sein, um Verstöße zu verhindern. Höhere Metrikwerte bedeuten bessere Scores.
Unterstützte Qualitätsmetriken
Wenn Sie Qualitätsauswertungen aktivieren, können Sie Metriken erstellen, mit deren Hilfe Sie feststellen können, wie gut Ihr Modell Ergebnisse vorhersagt. Die Werte, die als Metrikschwellenwerte festgelegt werden, bestimmen, wie Sie Ihre Metrikscores interpretieren können. Bei Metriken, die mit niedrigeren Schwellenwerten konfiguriert sind, zeigen höhere Bewertungen bessere Ergebnisse an. Bei Metriken, die mit oberen Schwellenwerten konfiguriert sind, zeigen niedrigere Bewertungen bessere Ergebnisse an.
Qualitätsbewertungen generieren die folgenden Metriken:
Fläche unter ROC
- Unterstützte Modelle: Maschinelles Lernen
- Beschreibung: Bereich unter Kurve für Trefferquote und Falsch-positiv-Rate zur Berechnung der Sensitivität gegenüber der Fallout-Rate
- Standardschwellenwerte: Untergrenze = 80 %
- Problemtyp: Binäre Klassifizierung
- Diagrammwerte: letzter Wert im Zeitrahmen
- Verfügbare Metrikdetails: Wahrheitsmatrix
Fläche unter PR
- Unterstützte Modelle: Maschinelles Lernen
- Beschreibung: Die Fläche, die sich unterhalb der PR-Kurve (PR = Precision Recall) befindet.
- Standardschwellenwerte: Untergrenze = 80 %
- Problemtyp: Binäre Klassifizierung
- Diagrammwerte: letzter Wert im Zeitrahmen
- Verfügbare Metrikdetails: Wahrheitsmatrix
- Mathematik:
Der Bereich unter 'Genauigkeitsrückruf' gibt die Summe für beide Precision + Recall
n AveP = ∑ P(k)∆r(k) k=1
Die Genauigkeit (P) ist definiert als die Anzahl der wahr-positiven Werte (Tp) gegenüber der Anzahl der wahr-positiven Werte plus der Anzahl der falsch-positiven Werte (Fp).
number of true positives Precision = ______________________________________________________ (number of true positives + number of false positives)
Die Trefferquote (R) ist definiert als die Anzahl der wahr-positiven Werte (Tp) gegenüber der Anzahl der wahr-positiven Werte plus der Anzahl der falsch-negativen Werte (Fn).
number of true positives Recall = ______________________________________________________ (number of true positives + number of false negatives)
Genauigkeit
- Unterstützte Modelle: Maschinelles Lernen und generative KI
- Beschreibung: Der Anteil korrekter Vorhersagen
- Standardschwellenwerte: Untergrenze = 80 %
- Problemtypen: Binäre Klassifizierung und Klassifizierung mit mehreren Klassen
- Diagrammwerte: letzter Wert im Zeitrahmen
- Verfügbare Metrikdetails: Wahrheitsmatrix
- Genauigkeit verstehen:
Die Genauigkeit kann je nach Algorithmustyp unterschiedliche Dinge bedeuten.Mehrklassige Klassifizierung: Die Genauigkeit misst die Zahl der korrekten Vorhersagen einer beliebigen Klasse bei Normalisierung der Anzahl der Datenpunkte. Weitere Details hierzu enthält die Dokumentation zu Apache Spark unter Multi-class classification.
Binäre Klassifizierung: Bei einem Algorithmus für die binäre Klassifizierung wird die Genauigkeit als die Fläche unter einer ROC-Kurve gemessen. Weitere Details hierzu enthält die Dokumentation zu Apache Spark unter Binary classification.
Regression: Regressionsalgorithmen werden mit dem Koeffizient der Bestimmung oder R2gemessen. Weitere Details hierzu enthält die Dokumentation zu Apache Spark unter Regression model evaluation.
Wahr-Positiv-Rate
- Unterstützte Modelle: Maschinelles Lernen
- Beschreibung: Anteil der richtigen Vorhersagen innerhalb der Vorhersagen in der positiven Klasse.
- Standardschwellenwerte: Untergrenze = 80 %
- Problemtyp: Binäre Klassifizierung
- Diagrammwerte: letzter Wert im Zeitrahmen
- Verfügbare Metrikdetails: Wahrheitsmatrix
- Mathematik:
Die Wahr-positiv-Rate (TPR) wird anhand der folgenden Formel berechnet:
number of true positives TPR = _________________________________________________________ (number of true positives + number of false negatives)
Rate des falschen positiven Wertes
- Unterstützte Modelle: Maschinelles Lernen
- Beschreibung: Anteil der falschen Vorhersagen innerhalb der positiven Klasse.
- Standardschwellenwerte: Untergrenze = 80 %
- Problemtyp: Binäre Klassifizierung
- Diagrammwerte: letzter Wert im Zeitrahmen
- Verfügbare Metrikdetails: Wahrheitsmatrix
- Mathematik:
Die falsch-positive Rate ist der Quotient aus der Gesamtzahl der falsch-positiven Ergebnisse, der durch die Summe der falsch-positiven und wahr-negativen Ergebnisse dividiert wird.
number of false positives False positive rate = ______________________________________________________ (number of false positives + number of true negatives)
Brier-Score
- Unterstützte Modelle: Maschinelles Lernen
- Beschreibung: misst die mittlere quadratische Differenz zwischen der vorhergesagten Wahrscheinlichkeit und dem Zielwert. Höhere Scores geben an, dass die vorhergesagten Wahrscheinlichkeiten des Modells nicht mit dem Zielwert übereinstimmen.
- Standardschwellenwerte:
- Obergrenze = 80%
- Problemtyp: Binäre Klassifizierung
- Mathematik:
Die Brier-Score-Metrik wird mit der folgenden Formel berechnet:
BrierScore = 1/N * sum( (p - y)^2 ) Where y = actual outcome, and p = predicted probability
Gini-Koeffizient
- Unterstützte Modelle: Maschinelles Lernen
- Beschreibung: Der Gini-Koeffizient misst, wie gut Modelle zwischen zwei Klassen unterscheiden. Sie wird als doppelt so große Fläche zwischen der ROC-Kurve und der diagonalen Linie des Diagrammdiagramms berechnet. Wenn der Gini-Koeffizientenwert 0 ist, zeigt das Modell keine Diskriminierungsfähigkeit an und der Wert 1 gibt perfekte Diskriminierung an.
- Standardschwellenwerte:
- Untergrenze = 80%
- Problemtyp: Binäre Klassifizierung
- Diagrammwerte: letzter Wert im Zeitrahmen
- Verfügbare Metrikdetails: Wahrheitsmatrix
- Mathematik:
Die Gini Koeffizient-Metrik wird mit der folgenden Formel berechnet:
Gini = 2 * Area under ROC - 1
Bezeichnungsabweichung
- Unterstützte Modelle: Generative KI und maschinelles Lernen
- Beschreibung: Misst die Asymmetrie von Bezeichnungsverteilungen. Wenn die Schiefe 0 ist, ist der Datensatz perfekt ausgeglichen, wenn sie kleiner als -1 oder größer als 1 ist, ist die Verteilung stark schief, alles dazwischen ist mäßig schief.
- Standardschwellenwerte:
- Untergrenze = -0.5
- Obergrenze = 0.5
- Problemtypen: Binäre Klassifizierung und Klassifikation mehrerer Klassen
- Diagrammwerte: letzter Wert im Zeitrahmen
Matthews-Korrelationskoeffizient
- Unterstützte Modelle: Generative KI und maschinelles Lernen
- Beschreibung: Misst die Qualität von binären Klassifizierungen und Klassifizierungen mit mehreren Klassen unter Berücksichtigung von wahr-und falsch-positiven und negativen Klassifizierungen. Ausgewogenes Maß, das auch verwendet werden kann, wenn die Klassen unterschiedliche Größen haben. Ein Korrelationskoeffizient zwischen -1 und +1. Ein Koeffizient von +1 steht für eine perfekte Vorhersage, 0 für eine durchschnittliche Zufallsvorhersage und -1 für eine inverse Vorhersage.
- Standardschwellenwerte: Untergrenze = 80 %
- Problemtypen: Binäre Klassifizierung und Klassifikation mehrerer Klassen
- Diagrammwerte: letzter Wert im Zeitrahmen
- Metrikdetails verfügbar: Wahrheitsmatrix
Mittlerer absoluter Fehler in Prozent
- Unterstützte Modelle: Maschinelles Lernen
- Standard-Schwellenwerte: Obergrenze = 0.2
- Problemtyp: Regression
- Beschreibung: Misst die mittlere prozentuale Fehlerdifferenz zwischen den vorhergesagten und den tatsächlichen Werten
- Mathematik:
Der mittlere absolute Fehler in Prozent wird mit der folgenden Formel berechnet:
AP
Symmetrischer mittlerer absoluter Fehler in Prozent
- Unterstützte Modelle: Maschinelles Lernen
- Standard-Schwellenwerte: Obergrenze = 0.2
- Problemtyp: Regression
- Beschreibung: Misst den symmetrischen Mittelwert des prozentualen Fehlers der Differenz zwischen den vorhergesagten und den tatsächlichen Werten
- Mathematik:
Der symmetrische mittlere absolute Fehler in Prozent wird mit der folgenden Formel berechnet:
AP
Pearson-Korrelationskoeffizient
- Unterstützte Modelle: Maschinelles Lernen
- Standardschwelle: Untere Grenze = 80%
- Problemtyp: Regression
- Beschreibung: Der Pearson-Korrelationskoeffizient (Pearson) misst die lineare Beziehung zwischen Modellvorhersage und Zielwerten. Die Pearson-Metrik berechnet einen Korrelationskoeffizientenwert zwischen -1 und +1. Ein Korrelationswert von -1 oder +1 bedeutet, dass eine exakte lineare Beziehung besteht, und ein Wert von 0 bedeutet keine Korrelation. Positive Korrelationen zeigen an, dass die Variablen gleichzeitig zunehmen, und negative Korrelationen zeigen an, dass eine Variable zunimmt, während eine andere Variable abnimmt. Hohe positive Werte zeigen an, dass das Modell Werte vorhersagt, die den Zielwerten ähnlich sind.
Korrelationskoeffizient nach Spearman
- Unterstützte Modelle: Maschinelles Lernen
- Standardschwelle: Untere Grenze = 80%
- Problemtyp: Regression
- Diagrammwerte: letzter Wert im Zeitrahmen
- Beschreibung: Der Korrelationskoeffizient der Rangordnung nach Spearman (Spearman) misst die Monotonie der Beziehung zwischen Modellvorhersagen und Zielwerten. Die Spearman-Metrik berechnet einen Korrelationskoeffizientenwert zwischen -1 und +1. Ein Korrelationswert von -1 oder +1 bedeutet, dass eine exakte monotone Beziehung besteht, und ein Wert von 0 bedeutet keine Korrelation. Positive Korrelationen zeigen an, dass die Variablen gleichzeitig zunehmen, und negative Korrelationen zeigen an, dass eine Variable zunimmt, während eine andere Variable abnimmt.
Trefferquote
- Unterstützte Modelle: Maschinelles Lernen
- Beschreibung: Anteil der richtigen Vorhersagen innerhalb der positiven Klasse.
- Standardschwellenwerte: Untergrenze = 80 %
- Problemtyp: Binäre Klassifizierung
- Diagrammwerte: letzter Wert im Zeitrahmen
- Verfügbare Metrikdetails: Wahrheitsmatrix
- Mathematik:
Die Trefferquote (R) ist definiert als die Anzahl der wahr-positiven Werte (Tp) gegenüber der Anzahl der wahr-positiven Werte plus der Anzahl der falsch-negativen Werte (Fn).
number of true positives Recall = ______________________________________________________ (number of true positives + number of false negatives)
Genauigkeit
- Unterstützte Modelle: Maschinelles Lernen
- Beschreibung: Anteil der richtigen Vorhersagen innerhalb der Vorhersagen in der positiven Klasse.
- Standardschwellenwerte: Untergrenze = 80 %
- Problemtyp: Binäre Klassifizierung
- Diagrammwerte: letzter Wert im Zeitrahmen
- Verfügbare Metrikdetails: Wahrheitsmatrix
- Mathematik:
Die Genauigkeit (P) ist definiert als die Anzahl der wahr-positiven Werte (Tp) gegenüber der Anzahl der wahr-positiven Werte plus der Anzahl der falsch-positiven Werte (Fp).
number of true positives Precision = __________________________________________________________ (number of true positives + the number of false positives)
F1-Measure
- Unterstützte Modelle: Maschinelles Lernen
- Beschreibung: harmonisches Mittel von Genauigkeit und Trefferquote
- Standardschwellenwerte: Untergrenze = 80 %
- Problemtyp: Binäre Klassifizierung
- Diagrammwerte: letzter Wert im Zeitrahmen
- Verfügbare Metrikdetails: Wahrheitsmatrix
- Mathematik:
Das F1-measure ist der gewichtete harmonische Mittelwert aus Genauigkeit und Trefferquote.
(precision * recall) F1 = 2 * ____________________ (precision + recall)
Logarithmischer Verlust
- Unterstützte Modelle: Maschinelles Lernen
- Beschreibung: Mittelwert der Zielklassenwahrscheinlichkeit (Konfidenz) der Logarithmen. Sie wird auch als erwartete Log-Likelihood (Log-Wahrscheinlichkeit) bezeichnet.
- Standardschwellenwerte: Untergrenze = 80 %
- Problemtypen: Binäre Klassifizierung und Klassifikation mehrerer Klassen
- Diagrammwerte: letzter Wert im Zeitrahmen
- Verfügbare Metrikdetails: keine
- Mathematik:
Bei einem binären Modell wird der logarithmische Verlust anhand der folgenden Formel berechnet:
-(y log(p) + (1-y)log(1-p))
Dabei ist p die Kennzeichnung für 'True" und y die vorhergesagte Wahrscheinlichkeit.
Für ein Modell mit mehreren Klassen wird der logarithmische Verlust mithilfe der folgenden Formel berechnet:
M -SUM Yo,c log(Po,c) c=1
Dabei ist M > 2, p die wahre Kennzeichnung und y die vorhergesagte Wahrscheinlichkeit.
Proportion der erklärten Varianz
- Unterstützte Modelle: Maschinelles Lernen
- Beschreibung: Die Proportion der erklärten Varianz stellt das Verhältnis der erklärten Varianz zur Zielvarianz dar. Die erklärte Varianz ist die Differenz zwischen der Zielvarianz und der Varianz des Vorhersagefehlers.
- Standardschwellenwerte: Untergrenze = 80 %
- Problemtyp: Regression
- Diagrammwerte: letzter Wert im Zeitrahmen
- Verfügbare Metrikdetails: keine
- Mathematik:
Die Proportion der erklärten Varianz wird durch Mittelwertbildung der Zahlen berechnet, dann für jede Zahl den Mittelwert subtrahieren und die Ergebnisse quadratisch darstellen. Dann die Quadrate berechnen.
sum of squares between groups Proportion explained variance = ________________________________ sum of squares total
Mittelwert-absoluter Fehler
- Unterstützte Modelle: Maschinelles Lernen
- Beschreibung: Der Mittelwert der absoluten Differenz zwischen der Modellvorhersage und dem Zielwert.
- Standardschwellenwerte: Obergrenze = 80 %
- Problemtyp: Regression
- Diagrammwerte: letzter Wert im Zeitrahmen
- Verfügbare Metrikdetails: keine
- Mathematik:
Der mittlere absolute Fehler wird berechnet, indem alle absoluten Fehler addiert und durch die Anzahl der Fehler dividiert werden.
SUM | Yi - Xi | Mean absolute errors = ____________________ number of errors
Mittlerer quadratischer Fehler
- Unterstützte Modelle: Maschinelles Lernen
- Beschreibung: Der Mittelwert der quadrierten Differenz zwischen der Modellvorhersage und dem Zielwert.
- Standardschwellenwerte: Obergrenze = 80 %
- Problemtyp: Regression
- Diagrammwerte: letzter Wert im Zeitrahmen
- Verfügbare Metrikdetails: keine
- Mathematik:
Der mittlere quadratische Fehler in seiner einfachsten Form wird durch die folgende Formel dargestellt:
SUM (Yi - ^Yi) * (Yi - ^Yi) Mean squared errors = ____________________________ number of errors
R-Quadrat
- Unterstützte Modelle: Maschinelles Lernen
- Beschreibung: Das Verhältnis der Differenz zwischen der Zielvarianz und der Varianz für einen Vorhersagefehler in Bezug zur Zielvarianz.
- Standardschwellenwerte: Untergrenze = 80 %
- Problemtyp: Regression
- Diagrammwerte: letzter Wert im Zeitrahmen
- Verfügbare Metrikdetails: keine
- Mathematik:
Die Metrik "R-Quadrat" ist in der folgenden Formel definiert.
explained variation R-squared = _____________________ total variation
Wurzel für mittleren quadratischen Fehler
- Unterstützte Modelle: Maschinelles Lernen
- Beschreibung: Quadratwurzel des Mittelwerts der quadrierten Differenz zwischen der Modellvorhersage und dem Zielwert.
- Standardschwellenwerte: Obergrenze = 80 %
- Problemtyp: Regression
- Diagrammwerte: letzter Wert im Zeitrahmen
- Verfügbare Metrikdetails: keine
- Mathematik:
Die Wurzel des mittleren quadratischen Fehlers ist gleich der Quadratwurzel des mittleren quadratischen Mittelwerts (Vorhersagen minus beobachtete Werte).
___________________________________________________________ RMSE = √(forecasts - observed values)*(forecasts - observed values)
Gewichtete Rate von Wahr-positiven
- Unterstützte Modelle: Maschinelles Lernen und generative KI
- Beschreibung: Gewichteter Mittelwert der Klasse TPR mit Gewichtungen, die gleich der Klassenwahrscheinlichkeit sind.
- Standardschwellenwerte: Untergrenze = 80 %
- Problemtyp: Klassifikation mehrerer Klassen
- Diagrammwerte: letzter Wert im Zeitrahmen
- Verfügbare Metrikdetails: Wahrheitsmatrix
- Mathematik:
Die Wahr-positiv-Rate (TPR) wird anhand der folgenden Formel berechnet:
number of true positives TPR = _________________________________________________________ number of true positives + number of false negatives
Gewichtete Rate von Falsch-positiven
- Unterstützte Modelle: Maschinelles Lernen und generative KI
- Beschreibung: Anteil der falschen Vorhersagen innerhalb der positiven Klasse.
- Standardschwellenwerte: Untergrenze = 80 %
- Problemtyp: Klassifikation mehrerer Klassen
- Diagrammwerte: letzter Wert im Zeitrahmen
- Verfügbare Metrikdetails: Wahrheitsmatrix
- Mathematik:
Die gewichtete Falsch-positiv-Rate (wFPR) ergibt sich aus der Anwendung der Falsch-positiv-Rate (FPR) mit gewichteten Daten.
number of false positives FPR = ______________________________________________________ (number of false positives + number of true negatives)
Gewichtete Trefferquote
- Unterstützte Modelle: Maschinelles Lernen und generative KI
- Beschreibung: Gewichteter Mittelwert der Trefferquote mit Gewichtungen, die gleich der Klassenwahrscheinlichkeit sind.
- Standardschwellenwerte: Untergrenze = 80 %
- Problemtyp: Klassifikation mehrerer Klassen
- Diagrammwerte: letzter Wert im Zeitrahmen
- Verfügbare Metrikdetails: Wahrheitsmatrix
- Mathematik:
Die gewichtete Trefferquote - Weighted Recall (wR) - ist als die Anzahl von wahr-positiven Ergebnissen (Tp: True Positives) geteilt durch die Anzahl der wahr-positiven Ergebnisse plus der Anzahl der falsch-negativen Ergebnisse (Fn: False Positives) definiert, wobei gewichtete Daten verwendet werden.
number of true positives Recall = ______________________________________________________ number of true positives + number of false negatives
Gewichtete Genauigkeit
- Unterstützte Modelle: Maschinelles Lernen und generative KI
- Beschreibung: Gewichteter Mittelwert der Genauigkeit mit Gewichtungen, die gleich der Klassenwahrscheinlichkeit sind.
- Standardschwellenwerte: Untergrenze = 80 %
- Problemtyp: Klassifikation mehrerer Klassen
- Diagrammwerte: letzter Wert im Zeitrahmen
- Verfügbare Metrikdetails: Wahrheitsmatrix
- Mathematik:
Die Genauigkeit (P) ist definiert als die Anzahl der wahr-positiven Werte (Tp) gegenüber der Anzahl der wahr-positiven Werte plus der Anzahl der falsch-positiven Werte (Fp).
number of true positives Precision = ________________________________________________________ number of true positives + the number of false positives
Gewichtetes F1-Maß
- Unterstützte Modelle: Maschinelles Lernen und generative KI
- Beschreibung: Gewichteter Mittelwert des F1-Maßes mit Gewichtungen, die gleich der Klassenwahrscheinlichkeit sind.
- Standardschwellenwerte: Untergrenze = 80 %
- Problemtyp: Klassifikation mehrerer Klassen
- Diagrammwerte: letzter Wert im Zeitrahmen
- Verfügbare Metrikdetails: Wahrheitsmatrix
- Mathematik:
Das gewichtete F1-Maß ist das Ergebnis der Verwendung gewichteter Daten.
precision * recall F1 = 2 * ____________________ precision + recall
Konfigurieren von Qualitätsauswertungen mit historischen Daten
Sie können Qualitätsauswertungen auch so konfigurieren, dass Metriken mit historischen Bewertungsdaten aus früheren Zeitfenstern generiert werden. Zur Konfiguration von Auswertungen mit historischen Bewertungsdaten können Sie das Python SDK verwenden, um Parameter für die Berechnung von Metriken in einem einzigen Zeitfenster mit Start- und Enddatum festzulegen:
parameters = {
"start_date": "2024-08-05T11:00:18.0000Z",
"end_date": "2024-08-05T14:00:18.0000Z"
}
run_details = wos_client.monitor_instances.run(monitor_instance_id=quality_monitor_instance_id, parameters = run_parameters, background_mode=False).result
Weitere Informationen
Überprüfung der Qualitätsergebnisse für Modelle des maschinellen Lernens
Übergeordnetes Thema: Modellevaluierungen konfigurieren