Translation not up to date
Watson OpenScale umożliwia domyślne wartościowanie monitorowania poprawności modelu w przypadku wdrożeń modeli produkcyjnych, co ułatwia zrozumienie zachowania i wydajności modelu. Metryk poprawności modelu można użyć do określenia efektywności przetwarzania transakcji przez wdrożenie modelu.
Wyniki ocen poprawności modelu można wyświetlić na panelu kontrolnym wglądu w produkcie Watson OpenScale. Aby wyświetlić wyniki, można wybrać kafel wdrażania modelu i kliknąć strzałkę 
w sekcji oceny poprawność modelu , aby wyświetlić podsumowanie metryk poprawności modelu od ostatniej oceny. Więcej informacji na ten temat zawiera sekcja Przeglądanie wyników oceny.
Po włączeniu wartościowania poprawności modelu Watson OpenScale tworzy zestaw danych poprawności modelu w tematycznej hurtowni danych Watson OpenScale . Zestaw danych poprawności modelu zawiera szczegółowe informacje na temat żądań oceniania, które są używane przez system Watson OpenScale do obliczania metryk poprawności modelu.
Obsługiwane metryki poprawności modelu
Watson OpenScaleobsługuje następujące kategorie metryk dla ocen poprawności modelu. Każda kategoria zawiera metryki, które udostępniają szczegółowe informacje na temat wydajności modelu:
Wielkość ładunku
System Watson OpenScale oblicza łączną, średnią, minimalną, maksymalnąi medianę wielkości ładunku rekordów transakcji przetwarzanych przez wdrożenie modelu dla żądań oceniania w kilobajtach (kB). System Watson OpenScale nie obsługuje wielkości mierzonych dotyczących wielkości ładunku dla modeli obrazów.
Rekordy
System Watson OpenScale oblicza sumę, średnią, minimalną, maksymalnąi medianę rekordów transakcji, które są przetwarzane w żądaniach oceny poprawności modelu.
Ocenianie żądań
Watson OpenScale oblicza liczbę żądań oceniania, które są odbierane przez wdrożenie modelu podczas oceny poprawności modelu.
Przepustowość i opóźnienie
System Watson OpenScale oblicza opóźnienie, śledząc czas przetwarzania żądań oceniania i rekordów transakcji na milisekundę (ms). Przepustowość jest obliczana przez śledzenie liczby przetwarzanych żądań oceniania i rekordów transakcji na sekundę.
Aby obliczyć przepustowość i opóźnienie, system Watson OpenScale wykorzystuje wartość response_time z żądań oceniania w celu śledzenia czasu, jaki zajmuje wdrożenie modelu przetworzenie żądań oceniania.
W przypadku wdrożeń Watson Machine Learning Watson OpenScale automatycznie wykrywa wartość response_time podczas konfigurowania ocen.
W przypadku wdrożeń zewnętrznych i niestandardowych należy określić wartość response_time podczas wysyłania żądań oceniania w celu obliczenia przepustowości i opóźnienia, jak pokazano w poniższym przykładzie z pakietu Watson OpenScale Python SDK:
from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord
client.data_sets.store_records(
data_set_id=payload_data_set_id,
request_body=[
PayloadRecord(
scoring_id=<uuid>,
request=openscale_input,
response=openscale_output,
response_time=<response_time>,
user_id=<user_id>)
]
)
System Watson OpenScale oblicza następujące wielkości mierzone w celu zmierzenia wartości parametrów thoughput i latency podczas wartościowania:
- Opóźnienie interfejsu API: czas (w ms) przetwarzania żądania oceniania przez wdrożenie modelu.
- Przepustowość interfejsu API: liczba żądań oceniania przetwarzanych przez wdrożenie modelu na sekundę
- Opóźnienie rekordu: czas (w ms) przetwarzania rekordu przez wdrożenie modelu
- Przepustowość rekordów: liczba rekordów przetworzonych przez wdrożenie modelu na sekundę
System Watson OpenScale oblicza średnią, maksymalną, medianę oraz minimalną przepustowość i opóźnienie dla żądań oceniania i rekordów transakcji.
Użytkownicy
Watson OpenScale oblicza liczbę użytkowników, którzy wysyłają żądania oceny do wdrożeń modelu.
Aby obliczyć liczbę użytkowników, system Watson OpenScale wykorzystuje user_id z żądań oceniania w celu zidentyfikowania użytkowników, którzy wysyłają żądania oceniania otrzymane przez model.
W przypadku wdrożeń Watson Machine Learning Watson OpenScale automatycznie wykrywa wartość user_id podczas konfigurowania ocen.
W przypadku wdrożeń zewnętrznych i niestandardowych należy określić wartość user_id podczas wysyłania żądań oceniania w celu obliczenia liczby użytkowników, jak pokazano w poniższym przykładzie z pakietu Watson OpenScale Python SDK:
from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord
client.data_sets.store_records(
data_set_id=payload_data_set_id,
request_body=[
PayloadRecord(
scoring_id=<uuid>,
request=openscale_input,
response=openscale_output,
response_time=<response_time>,
user_id=<user_id>). --> value to be supplied by user
]
)
Podczas wyświetlania wielkości mierzonej Użytkownicy w systemie Watson OpenScalenależy użyć widoku w czasie rzeczywistym, aby wyświetlić łączną liczbę użytkowników i widoki zagregowane, aby wyświetlić średnią liczbę użytkowników. Więcej informacji na ten temat zawiera sekcja Przeglądanie wyników poprawności modelu.