Funkcja Watson OpenScale oblicza dryfty jakości modelu, porównując szacowaną dokładność środowiska wykonawczego z dokładnością szkoleniową w celu mierzenia spadku dokładności.
Jak to działa?
Watson OpenScale buduje własny model wykrywania dryftów, który przetwarza dane ładunku podczas konfigurowania ewaluacji dryftu v2 w celu przewidywania, czy model generuje dokładne predykcje bez prawdy gruntowej. Model wykrywania driftu używa funkcji wejściowych i prawdopodobieństw klas z modelu do tworzenia własnych funkcji wejściowych.
Wykonaj matematykę
Funkcja Watson OpenScale wykorzystuje następującą formułę do obliczenia dryftu jakości modelu:
Funkcja Watson OpenScale oblicza dokładność modelu jako base_accuracy , mierząc frakcję poprawnie przewidywanych transakcji w danych uczących. Podczas wartościowania transakcje są oceniane w oparciu o model wykrywania dryftów w celu mierzenia ilości transakcji, które prawdopodobnie są poprawnie przewidywane przez model. Te transakcje są porównywane z łączną liczbą transakcji, które Watson OpenScale przetwarza w celu obliczenia predicted_accuracy. Jeśli wartość predicted_accuracy jest mniejsza niż base_accuracy, to Watson OpenScale generuje ocenę wskaźnika jakości modelu.
Więcej inform.
Przeglądanie wyników analizy dryftu v2
Temat nadrzędny: Wielkości mierzone Drift v2