Genauigkeit der Bewertungsmetrik gesunken
Die Drop-in-Accuracy-Metrik schätzt den Genauigkeitsverlust Ihres Modells zur Laufzeit im Vergleich zu den Trainingsdaten.
Metrikdetails
Die Genauigkeitsabnahme ist eine Driftbewertungsmetrik, die dabei helfen kann, festzustellen, wie gut Ihr Modell Ergebnisse im Laufe der Zeit vorhersagt.
Bereich
Die Genauigkeitsmetrik bewertet nur Modelle für maschinelles Lernen.
- Arten von KI-Ressourcen : Modelle für maschinelles Lernen
- Art des Problems beim maschinellen Lernen :
- Binärklassifikation
- Klassifikation in mehrere Klassen
Ergebnisse und Werte
Der Rückgang des Genauigkeitsmetrikwerts zeigt an, ob es eine Zunahme von Transaktionen gibt, die denen ähneln, die das Modell in den Trainingsdaten nicht richtig bewertet hat.
Wertebereich : 0.0-1.0
Evaluierungsprozess
Die Driftüberwachung funktioniert in Vorproduktions- und Produktionsumgebungen unterschiedlich.
Wenn Sie in Vorproduktionsumgebungen beschriftete Testdaten hochladen, werden die Daten den Feedback- und Nutzdatentabellen hinzugefügt. Die beschrifteten Daten werden als Annotation zur Nutzdatentabelle hinzugefügt. Die Genauigkeit wird anhand der gekennzeichneten Datenspalte und der Vorhersagespalte aus der Nutzdatentabelle berechnet.
In Produktionsumgebungen wird ein Drift-Erkennungsmodell erstellt, indem die Daten betrachtet werden, die zum Trainieren und Testen des Modells verwendet wurden. Wenn das Modell eine Genauigkeit von 90 % bei den Testdaten aufweist, bedeutet dies, dass für 10 % der Testdaten falsche Vorhersagen erstellt werden. Es wird ein binäres Klassifizierungsmodell erstellt, das einen Datenpunkt akzeptiert und vorhersagt, ob dieser Datenpunkt den Daten ähnelt, die das Modell entweder falsch (10 %) oder richtig (90 %) vorhergesagt hat.
Nachdem das Drift-Erkennungsmodell erstellt wurde, wird dieses Modell zur Laufzeit unter Verwendung aller Daten, die das Client-Modell erhält, bewertet. Wenn das Client-Modell beispielsweise in den letzten 3 Stunden 1000 Datensätze erhalten hat, wird das Drift-Erkennungsmodell mit denselben 1000 Datenpunkten ausgeführt. Dabei wird berechnet, wie viele dieser Datensätze Ähnlichkeit mit den 10 % der Datensätze haben, für die beim Modelltraining ein Fehler festgestellt wurde. Wenn 200 dieser Datensätze Ähnlichkeiten mit den 10 % aufweisen, wird daraus abgeleitet, dass die Modellgenauigkeit wahrscheinlich 80 % beträgt. Da das Modell beim Trainieren eine Genauigkeit von 90 % erzielen konnte, hat das Modell eine Genauigkeitsabweichung von 10 %.
Um die Genauigkeitsabnahme zu berechnen, wird jede Transaktion analysiert, um zu schätzen, ob die Modellvorhersage genau ist. Ist die Modellvorhersage ungenau, wird die Transaktion als abweichend gekennzeichnet. Die geschätzte Genauigkeit wird dann als Bruchteil der nicht abgewichenen Transaktionen zur Gesamtzahl der analysierten Transaktionen berechnet. Die Basisgenauigkeit ist die Genauigkeit des Modells bei den Testdaten. Das Ausmaß der Abweichung in der Genauigkeit wird als Differenz zwischen der Grundgenauigkeit und der geschätzten Genauigkeit berechnet. Alle driftenden Transaktionen werden berechnet und dann werden die Transaktionen basierend auf der Ähnlichkeit des Beitrags jedes Merkmals zum Drift in der Genauigkeit gruppiert. In jedem Cluster werden die wichtigen Merkmale geschätzt, die zur Abweichung der Genauigkeit beigetragen haben, und ihre Auswirkung auf die Merkmale wird als groß, mittel und gering eingestuft.
Nächste Schritte
Um Abweichungen zu minimieren, nachdem sie erkannt wurden, müssen Sie eine neue Version des Modells erstellen, die das Problem behebt. Ein guter Ausgangspunkt für die Problembehebung sind die Datenpunkte, die als Abweichungsursachen hervorgehoben wurden. Fügen Sie die neuen Daten in das Vorhersagemodell ein, nachdem Sie die abweichenden Transaktionen manuell gekennzeichnet haben, und verwenden Sie sie, um das Modell neu zu trainieren.
Übergeordnetes Thema: Bewertungsmetriken