Po włączeniu ocen jakości w systemie Watson OpenScalemożna generować metryki, które pomogą w określeniu, jak dobrze model przewiduje wyniki.
Wyniki ocen jakości można wyświetlić na panelu kontrolnym Insights w produkcie Watson OpenScale. Aby wyświetlić wyniki, można wybrać kafel wdrożenia modelu i kliknąć strzałkę 
w sekcji oceny Jakość w celu wyświetlenia podsumowania metryk jakości z ostatniej oceny. Więcej informacji na ten temat zawiera sekcja Przeglądanie wyników jakości.
Pomiary jakości są obliczane na podstawie ręcznie oznaczonych danych sprzężenia zwrotnego i monitorowanych odpowiedzi na wdrożenie. Więcej informacji na ten temat zawiera sekcja Zarządzanie danymi opinii.
Obsługiwane metryki jakości
Watson OpenScaleobsługuje następujące metryki jakości:
Problemy z klasyfikacją binarną
W przypadku modeli binarnych system Watson OpenScale śledzi, czy jakość modelu spada poniżej dopuszczalnego poziomu. W przypadku binarnych modeli klasyfikacji sprawdza ocenę Obszar pod ROC , która mierzy zdolność modelu do rozróżniania dwóch klas. Na przykład modele o wyższych ocenach Obszar pod ROC są lepsze w identyfikowaniu klasy A jako klasy A i klasy B jako klasy B. Następujące metryki mierzą problemy z klasyfikacją binarną:
Problemy z klasyfikacją regresji
W przypadku modeli regresji Watson OpenScale śledzi, gdy jakość modelu spadnie poniżej dopuszczalnego poziomu i sprawdza ocenę R-kwadrat . Ocena R-kwadrat mierzy korelację między wartościami przewidywanymi a rzeczywistymi. Na przykład modele o wyższych ocenami R-kwadrat lepiej dopasowują się do rzeczywistych wartości. Następujące metryki mierzą problemy z klasyfikacją regresji:
Problemy z klasyfikacją wielu klas
W przypadku modeli z wieloma klasyfikacjami system Watson OpenScale śledzi, kiedy jakość modelu spada poniżej akceptowalnego poziomu i sprawdza ocenę Dokładność , która zapewnia procent dokładności predykcji. Następujące metryki mierzą problemy z klasyfikacją wielu klas:
- Dokładność
- Ważona rzeczywista wartość dodatnia (wTPR)
- Ważony wskaźnik wyników fałszywie dodatnich (wFPR)
- Ważona czułość
- Ważona precyzja
- Ważona F1-Measure
- Strata logarytmiczna
Gdy system Watson OpenScale wykryje problemy z jakością, takie jak naruszenia progów dokładności, należy utworzyć nową wersję modelu, która rozwiąże problem. Korzystając z ręcznie oznaczonych danych w tabeli sprzężenia zwrotnego, należy ponownie wytrenować model wraz z oryginalnymi danymi uczącymi.
Więcej inform.
Temat nadrzędny: Konfigurowanie wartościowania jakości