Translation not up to date
Podczas konfigurowania ocen w systemie Watson OpenScalemożna analizować wyniki oceny, aby uzyskać wgląd w wydajność modelu. Panel kontrolny udostępnia narzędzia do przeglądania szczegółów wydajności, współużytkowania informacji o alertach lub drukowania raportów.
Niektóre szczegóły, które można przejrzeć na panelu kontrolnym, obejmują:
- Przejrzyj wyniki dotyczące jakości, aby zobaczyć macierz nieporozumień, która ułatwia określenie, czy wdrożony model poprawnie analizował transakcje.
- Wyświetl wyniki dryftu, aby wyświetlić transakcje, które są odpowiedzialne za spadek dokładności, spadek spójności danych lub oba te elementy.
- Sprawdź wyniki oceny poprawności modelu, gdzie można zobaczyć podsumowanie metryk, które zostały wygenerowane podczas ostatniej oceny, za pomocą kafli karty wyników, które są skorelowane z różnymi wymiarami.
Aby wyświetlić wyniki w panelu kontrolnym Insights:
W produkcie Watson Openscale kliknij ikonę Działanie
, aby otworzyć panel kontrolny Insights.Wybierz kafel modelu wdrażania, dla którego chcesz wyświetlić wyniki. Watson OpenScale wyświetla wyniki ostatniego wartościowania.
Kliknij strzałkę
w sekcji ewaluacji, aby wyświetlić wizualizacje danych wyników ewaluacji w określonych ustawieniach przedziału czasu i zakresu dat . Ostatnie wartościowanie dla wybranego przedziału czasu jest również wyświetlane w powiązanym zakresie danych.Użyj menu Działania , aby wyświetlić szczegóły dotyczące modelu, wybierając jedną z następujących opcji analizy:
- Wszystkie oceny: w przypadku modeli przedprodukcyjnych należy wyświetlić historię ocen, aby zrozumieć, w jaki sposób wyniki zmieniają się w czasie.
- Porównaj: porównuje modele z wykresem macierzowym, który wyróżnia kluczowe metryki w celu określenia, która wersja modelu jest gotowa do produkcji lub które modele mogą wymagać większego treningu.
- Wyświetlanie informacji o modelu: wyświetlanie szczegółów dotyczących modelu w celu zrozumienia sposobu konfigurowania środowiska wdrażania.
- Pobierz raport w formacie PDF: generuje raport podsumowania modelu, który udostępnia wszystkie metryki oraz wyjaśnienie, dlaczego zostały one ocenione w taki sposób, w jaki były.
- Skonfiguruj alert: wysyła alerty o naruszeniach progów na adres e-mail.
Można również użyć menu Czynności , aby zarządzać danymi dla ewaluacji modelu. Więcej informacji na ten temat zawiera sekcja Wysyłanie transakcji modelu.
Na wykresach szeregów czasowych system Watson OpenScale wyświetla zagregowane oceny jako punkty danych, które można wybrać w celu wyświetlenia wyników dla konkretnego czasu. Znacznik czasu każdego punktu danych, który jest wyświetlany po umieszczeniu wskaźnika myszy nad wykresami szeregów czasowych, nie jest zgodny ze znacznikiem czasu ostatniego wartościowania z powodu domyślnego zachowania agregacji Watson OpenScale .
Analizowanie wyników
W poniższych sekcjach opisano, w jaki sposób można analizować wyniki ocen modelu Watson OpenScale :
Aby ułatwić przeglądanie wyników dotyczących rzetelności, system Watson OpenScale udostępnia obliczenia dla następujących typów zestawów danych:
- Zrównoważone: Obliczenie zrównoważone obejmuje żądanie oceny, które zostało odebrane dla wybranej godziny. Obliczenie obejmuje również więcej rekordów z poprzednich godzin, jeśli nie została osiągnięta minimalna liczba rekordów wymaganych do oceny. Zawiera bardziej zsyntetyzowane i perturbowane rekordy, które są używane do testowania odpowiedzi modelu w przypadku zmiany wartości monitorowanej funkcji.
- Ładunek: rzeczywiste żądania oceniania, które są odbierane przez model dla wybranej godziny.
- Trenowanie: rekordy danych uczących, które są używane do trenowania modelu.
- Debiasowane: dane wyjściowe algorytmu debiasingu po przetworzeniu środowiska wykonawczego i danych perturbowanych.
Za pomocą wykresu można obserwować grupy, które doświadczają stronniczości, i zobaczyć procent oczekiwanych wyników dla tych grup. Można również wyświetlić procent oczekiwanych wyników dla grup referencyjnych, który jest średnią oczekiwanych wyników dla wszystkich grup referencyjnych. Wykresy wskazują na obecność stronniczości, porównując stosunek odsetka oczekiwanych wyników dla monitorowanych grup w zakresie danych do odsetka wyników dla grup referencyjnych.
Wykres przedstawia również rozkład wartości odniesienia i wartości monitorowanych dla każdej odrębnej wartości atrybutu w danych z tabeli ładunku, która została przeanalizowana w celu zidentyfikowania obciążenia. Dystrybucja danych ładunku jest wyświetlana dla każdej odrębnej wartości atrybutów. Można użyć tych danych do skorelowania ilości danych do wartości stronniczości z ilością danych odbieranych przez model. Można również wyświetlić procent grup z oczekiwanymi wynikami, aby zidentyfikować źródła nierównomiernego rozkładu wyników i spowodować wzrost odsetka oczekiwanych wyników dla grup referencyjnych.
Aby ułatwić przeglądanie wyników dotyczących jakości, system Watson OpenScale wyświetla macierz nieporozumień, które ułatwiają określenie, czy wdrożony model nieprawidłowo przeanalizował transakcje. W przypadku binarnych modeli klasyfikacji rekordy są klasyfikowane jako fałszywie dodatnie lub fałszywie ujemne oraz jako niepoprawne przypisania klas dla modeli wielu klas. W przypadku problemów z klasyfikacją binarną system IBM Watson OpenScale przypisuje kategorię docelową do poziomu
positivelubnegative. W macierzy nieporozumień etykieta kategorii dodatniej znajduje się w drugim wierszu lub kolumnie.
W przypadku obliczeń wartości dryftu można wyświetlić transakcje, które są odpowiedzialne za spadek dokładności, spadek spójności danych lub oba te elementy. Można również wyświetlić liczbę zidentyfikowanych transakcji oraz funkcje modelu, które są odpowiedzialne za zmniejszenie dokładności lub spójności danych.
Więcej informacji na ten temat zawiera sekcja Przeglądanie transakcji dryftu.
Podczas przeglądania wyników oceny dryftu v2 w systemie Watson OpenScale wyświetlane są zwijalne kafle, które można otworzyć w celu wyświetlenia różnych szczegółów dotyczących metryk. Za pomocą wykresu szeregów czasowych można wyświetlić historię zmian wyniku każdej metryki w czasie lub wyświetlić szczegóły dotyczące sposobu obliczania wyników oceny i dryfu funkcji. Można również wyświetlić szczegółowe informacje o każdej funkcji, aby zrozumieć, w jaki sposób wpływają one na wyniki generowane przez system Watson OpenScale .
Podczas przeglądania wyników oceny poprawności modelu system Watson OpenScale udostępnia podsumowanie metryk wygenerowanych podczas ostatniej oceny za pomocą kafli karty wyników, które są skorelowane z różnymi wymiarami. W przypadku metryk z wieloma wymiarami można kliknąć menu rozwijane na kaflach, aby wybrać metrykę, która ma być analizowana. Aby przeanalizować zmiany metryk w czasie, można kliknąć zwijalne kafle dla każdej kategorii w celu wyświetlenia wykresów szeregów czasowych.
Więcej informacji na ten temat zawiera sekcja Wielkości mierzone oceny poprawności modelu.
Temat nadrzędny: Uzyskiwanie wglądu w rozwiązanie Watson OpenScale