Translation not up to date
Watson OpenScale -oceny dryftu wykrywają krople dokładności i spójność danych w modelu. Dokładność modelu spada, jeśli istnieje wzrost liczby transakcji zbliżonych do tych, których model nie został poprawnie oszacowany w danych uczących.
Przykłady oceny dryftu
Podczas konfigurowania dryftu w systemie Watson OpenScalenależy określić tolerancyjne wielkości dryftu dokładności. Dryft jest mierzony jako spadek dokładności w porównaniu z dokładnością modelu w czasie treningu. Na przykład, jeśli dokładność modelu w czasie szkolenia wynosiła 90%, a w czasie wykonywania oszacowana dokładność modelu wynosi 80%, to model ten jest powielany, aby został on przesunięty o 10%. W zależności od przypadku użycia, właściciele modeli będą skłonni tolerować różne ilości dryftu. Dlatego opcja Watson OpenScale umożliwia określenie wielkości dryftu dokładności (określanej jako próg alertu dryftu) dla każdego modelu monitorowanego w systemie Watson OpenScale. Jeśli dryf dla modelu spadnie poniżej określonego progu, zostanie wygenerowany alert.
Jeśli używany jest produkt IBM Watson Machine Learning , a dane nie przekraczają 500 MB, można trenować model w trybie z połączeniem, korzystając z usługi Watson OpenScale. W przeciwnym razie należy użyć notatnika w celu przeszkolenia modelu.
Zanim rozpoczniesz
Aby możliwe było analizowanie modelu, należy skonfigurować wykrywanie dryftu. Model wykrywania dryftu można trenować w trybie z połączeniem za pomocą interfejsu użytkownika lub za pomocą działającego kodu w notatniku. Konfiguracja driftu jest obsługiwana tylko w przypadku danych ustrukturyzowanych. Modele klasyfikacji obsługują dryfowanie danych i dokładności, modele regresji obsługują tylko dryf danych.
Poniżej przedstawiono wymagania dotyczące konfigurowania monitora Drift:
- Dostawca Machine Learning musi mieć wartość Watson Machine Learning .
- Wielkość danych uczących musi być mniejsza niż 500MB
- Dane szkoleniowe muszą być udostępniane w IBM Cloud Object Storage/Db2.
Aby przesłać dane treningowe i ustawić Szczegóły modelu dla wykrywania dryftu:
- Kliknij opcję Prześlij dane szkoleniowe , a następnie prześlij plik z danymi z etykietą.
Szczegółowe informacje na ten temat zawiera sekcja Udostępnianie szczegółów modelu.
W całym tym procesie IBM Watson OpenScale analizuje model i tworzy rekomendacje w oparciu o najbardziej logiczne wyniki. Aby funkcja wykrywania dryftu była poprawnie działać, typ danych kolumny predykcji w danych uczących musi być zgodny z typem danych tej samej kolumny w danych ładunku. Przypisz zgodne łańcuchy łańcuchowe lub liczbowe do kolumn predykcji i etykiet. Aby potwierdzić typy danych, kliknij opcję Szczegóły modelu > Szczegóły danych wyjściowych modelu > Edytuj. Te opcje zapewniają, że użytkownik ma dokładne informacje na temat następujących kroków konfiguracyjnych. Jeśli z jakiegoś powodu konieczna jest zmiana typów danych, należy ponownie wdrożyć ocenę w celu wprowadzenia zmian.
Na kolejnych stronach karty Drift (Dryft) należy podać następujące informacje:
Próg alertu
Wymagane tylko w przypadku modeli typu klasyfikacji: IBM Watson OpenScale śledzi stopień zmiany dokładności modelu w porównaniu z dokładnością w czasie uczenia. Próg alertu, który musi wynosić co najmniej 5%, wskazuje stopień tolerancji dla zmiany w czasie.
Rozmiar próby
Ustawiając minimalną wielkość próby, nie można mierzyć dryftu, dopóki nie będzie dostępna minimalna liczba rekordów w zestawie danych oceny. To ustawienie zapewnia, że wielkość próby nie jest zbyt mała, aby możliwe było przesunięcie wyników. Przy każdym uruchomieniu sprawdzania dryftu używa się minimalnej wielkości próby do decydowania o liczbie rekordów, na których wykonuje się obliczenia.
Kroki umożliwiające skonfigurowanie oceny dryftu
Jeśli używany jest produkt IBM Watson Machine Learning, można użyć interfejsu użytkownika Watson OpenScale w celu skonfigurowania funkcji wykrywania dryftu.
Aby uruchomić proces konfiguracji, na karcie Dryft , w polu Model dryf , kliknij ikonę Edytuj 
. Użyj opcji Train in Watson OpenScale .
Postępuj zgodnie z instrukcjami i wprowadź wymagane informacje. Po zakończeniu podsumowania wybrane opcje zostaną wyświetlone do przejrzenia. Jeśli chcesz zmienić wszystko, kliknij ikonę Edytuj dla tej sekcji. W przeciwnym razie zapisz pracę.
Kroki w celu skonfigurowania dryftu bez przekwalifikowania
Zrekonfiguruj ocenę dryftu bez konieczności ponownego uczenia modelu dryftu w celu zaktualizowania parametrów bez większego przetwarzania. Użytkownik aktualizuje minimalną wielkość próby i próg, aby uzyskać więcej danych na temat aktualnie wyszkolonego modelu bez ponoszenia dodatkowych kosztów przetwarzania. Jest to jeden ze sposobów na uniknięcie intensywnego użycia procesora, gdy bazowe dane są stabilne, a użytkownik chce wyświetlać wielkość dryftu z różnymi progami.
Uwaga: Model dryftu wymaga przekwalifikowania tylko wtedy, gdy dane treningowe lub zmiany schematu zostaną zmienione.
Aby rozpocząć proces konfigurowania, na karcie Dryft , w polu Próg dryftu lub w polu Wielkość próby , kliknij opcję Edytuj . Zaktualizuj bieżące ustawienie i zapisz je.
Kroki umożliwiające skonfigurowanie dryftu za pomocą notatnika
Za pomocą notatnika można skonfigurować dryft w następujących okolicznościach:
- Użytkownik nie chce współużytkować danych uczących z systemem Watson OpenScale.
- Nie masz środków do udostępniania danych uczących się na Db2 lub IBM Cloud Object Storage, które są tylko dwoma lokalizacjami danych szkoleniowych, które są obsługiwane przez Watson OpenScale.
Ta opcja jest przydatna, jeśli dane szkoleniowe nie są zapisane w Db2 lub IBM Cloud Object Storage. Korzystając z notatnika, należy zapoznać się z danymi uczących się w ramce danych. Wyspecjalizowany notatnik, który można pobrać z systemu Watson OpenScale , a następnie tworzy wyspecjalizowane dane wyjściowe, które można przesłać do systemu Watson OpenScale.
Aby wygenerować model wykrywania znoszenia, można uruchomić komórkę, która instaluje pakiet ibm-wos-utils>=4.5.0 , a pakiet sci-kit zawiera wersję 1.0.2. Program Scikit-poznaj wersję 1.0.2 , która jest wymagana do zbudowania modelu.
Utwórz notatnik, aby wygenerować model wykrywania driftu. Użyj przykładowego notatnika , który jest dostępny w systemie Watson OpenScale. Model wykrywania driftu jest przekształcany w plik.tar.gz .
Aby uruchomić proces konfiguracji, na karcie Dryft , w polu Model dryf kliknij opcję Edytuj . Użyj opcji Train in a data science notebook . Można przeciągnąć skompresowany model wykrywania dryftu do strefy upuszczenia.
Postępuj zgodnie z instrukcjami i wprowadź wymagane informacje. Po zakończeniu podsumowania wybrane opcje zostaną wyświetlone do przejrzenia. Jeśli chcesz zmienić wszystko, kliknij opcję Edytuj dla tej sekcji. W przeciwnym razie zapisz pracę.
Więcej inform.
Wielkości mierzone dotyczące dryftu
Temat nadrzędny: Konfigurowanie ocen modelu