Translation not up to date
Oceny jakości Watson OpenScale monitorują zdolność modelu do zapewnienia prawidłowych wyników w oparciu o sposób, w jaki model wykonuje się za pomocą danych testowych o nazwie "feedback".
Pomiar dokładności modelu przy ocenie jakości
Oceny jakości monitorują, jak dobrze Twój model przewiduje dokładne wyniki. Identyfikuje ona, kiedy jakość modelu spada, dzięki czemu można odpowiednio przekwalifikować swój model. Aby ocenić model, należy podać dane zwrotne, które są oznaczane danymi, w przypadku których wynik jest znany. Oceny jakości korzystają z zestawu standardowych wielkości mierzonych dotyczących danych w celu oceny, jak dobrze model przewiduje wynik zgodny z rzeczywistymi wynikami w zestawie danych oznaczonych etykietą.
Możliwe jest ustawienie akceptowalnych progów jakości dla pomiarów używanych do oceny modelu. Można również ustawić wielkość próby, która jest liczbą wierszy danych dotyczących informacji zwrotnych, aby uwzględnić je w ocenie.
Zanim rozpoczniesz: Podanie danych zwrotnych
Dane opinii są takie, jak dostarczenie arkusza odpowiedzi z rzeczywistymi obserwowanymi wynikami. Monitor może uruchomić model tak, jakby odpowiedzi nie były znane, a następnie porównać przewidywane wyniki z rzeczywistymi wynikami i przedstawić wyniki dokładności oparte na metrykach jakościowych.
Aby udostępnić dane opinii, które będą używane do oceny modelu, kliknij stronę Punkty końcowe i wykonaj jedną z następujących czynności:
- Kliknij opcję Prześlij dane opinii , a następnie prześlij plik z etykietą danych.
- Kliknij kartę Punkty końcowe i określ punkt końcowy, który łączy się ze źródłem danych zwrotnych.
Szczegółowe informacje na ten temat zawiera sekcja Zarządzanie danymi opinii.
Ustawianie progów jakości
Po udostępnieniu danych zwrotnych na potrzeby wartościowania należy skonfigurować ustawienia monitora. Ustawiasz progi dla akceptowalnej wydajności dla modelu w porównaniu do znanych wyników.
Aby ustawić wartości progowe, na karcie Jakość kliknij ikonę Edytuj 
, aby wprowadzić wartości w polu Próg jakości , a następnie edytuj wartości dla wielkości próby.
Próg alertu jakości
Wybierz wartość, która reprezentuje dopuszczalny poziom dokładności. Na przykład w przykładowym niemieckim modelu ryzyka kredytowego dostarczonym z automatyczną konfiguracją alert dla obszaru pod metryką ROC jest ustawiony na 95%. Jeśli zmierzona jakość dla modelowych dipów poniżej tej wartości zostanie wyzwolona, zostanie wyzwolony alert. Typowa wartość dla obszaru w obszarze ROC wynosi 80%.
Szczegółowe informacje na temat standardowych wielkości mierzonych dla monitora jakości można znaleźć w sekcji Przegląd wielkości mierzonych dotyczących jakości.
Minimalna i maksymalna wielkość próby
Ustawiając minimalną wielkość próby, nie można mierzyć jakości do momentu, gdy w zestawie danych oceny nie będzie dostępna minimalna liczba rekordów. Zapewnia to, że wielkość próby nie jest zbyt mała, aby osiągnąć wyniki. Przy każdym uruchomieniu sprawdzania jakości używany jest minimalny rozmiar próbki do decydowania o liczbie rekordów, na których wykonuje się obliczenia metryk jakości.
Maksymalna wielkość próbki pomaga lepiej zarządzać czasem i zasobami potrzebnymi do oceny zestawu danych. Jeśli ta wielkość zostanie przekroczona, wartościowane są tylko najnowsze rekordy. Na przykład w przykładzie Model niemieckiego ryzyka kredytowego minimalna wielkość próby jest ustawiona na 50 , a nie określono maksymalnej wielkości, ponieważ jest to mała próba.
Programowo zarządzanie ustawieniami wielkości próby
Parametr max_rows_per_evaluation dla monitora jakości można skonfigurować przy użyciu interfejsu API pakietu Watson OpenScale SDK. Ten parametr ustawia maksymalną liczbę rekordów, które są przetwarzane w trakcie oceny jakości. Parametr enable_last_run_time_window można włączyć na poziomie subskrypcji lub na poziomie zmiennej środowiskowej w usłudze informacji zwrotnych. Jeśli w usłudze Feedback zostanie również włączona zmienna środowiskowa enable_last_run_time_window , monitor jakości będzie przetwarzać tylko te rekordy, które zostały dodane od czasu ostatniej oceny. Monitor jakości wyświetla błąd, jeśli w tym okresie nie ma wystarczającej liczby rekordów do przetworzenia na potrzeby wartościowania.
Więcej informacji na ten temat zawiera przykładowy notatnik Watson OpenScale.
Więcej inform.
Wielkości mierzone dotyczące jakości
Temat nadrzędny: Konfigurowanie ocen modelu