Aby skonfigurować monitory, należy wysłać ładunek oceniania w celu zarejestrowania danych, które mają być monitorowane.

W przypadku modeli wdrożonych w produkcie IBM Watson Machine Learningmodel należy oceniać za pomocą interfejsu API IBM Watson Machine Learning . Ładunek oceniania jest automatycznie wysyłany do systemu Watson OpenScale.

W przypadku innych mechanizmów uczenia maszynowego (na przykład: Microsoft Azure, Amazon SageMaker) ładunek oceniania musi być przesyłany za pomocą funkcji API Payload Logging. Więcej informacji na ten temat zawiera sekcja Rejestrowanie ładunku dla instancji usług innych niżIBM Watson Machine Learning.

Kroki dotyczące rejestrowania ładunku

1. W panelu kontrolnym Watson OpenScale kliknij kafel wdrażania.
2. Kliknij opcję Konfiguruj monitory.
3. Na panelu nawigacyjnym kliknij opcję Rejestrowanie ładunku.
4. Wybierz, czy ma być używany kod cURL , czy Python , klikając kartę cURL lub Python .
5. Kliknij opcję Kopiuj do schowka i wklej go w celu rejestrowania danych żądań wdrożenia i odpowiedzi.

Więcej informacji na ten temat zawiera sekcja Rejestrowanie ładunku dla instancji usług innych niżIBM Watson Machine Learning.

Pola i wartości w fragmentach kodu muszą zostać zastąpione wartościami rzeczywistymi, ponieważ podane wartości są tylko przykładami.

Po uruchomieniu rejestrowania ładunku znacznik wyboru jest wyświetlany w kolumnie Gotowe do monitorowania dla wybranego wdrożenia. Kliknij opcję Skonfiguruj monitory , aby kontynuować.

Pola rejestrowania ładunku

Następujące pola składają się z typowego żądania rejestrowania ładunku:

• scoring_id: Identyfikator transakcji oceniania.
• response_time: Czas (ms) przeznaczony na predykcje (dla monitorowania wydajności).
• request_data: Sekcja żądania określa pola i wartości zarówno dla danych uczących, jak i metadanych, które są cechami, których można użyć do pomiaru pośrednich danych bias.
  • fields: tablica nazw pól.
  • values: tablica wartości pól.
• meta: Sekcja meta określa pola i wartości dla metadanych.
  • fields: zawiera listę pól dla metadanych.
  • values: zawiera listę wartości dla metadanych.
• response_data: Sekcja odpowiedzi określa pola i wartości wyniku.
  • fields: tablica nazw pól.
  • values: tablica wartości pól.
• subscription_id: unikalny identyfikator subskrypcji.
• deployment_id: unikalny identyfikator wdrożenia w systemie Watson OpenScale.

Metapola i wartości nie są przetwarzane ani znane przez model, ale mogą być przekazywane do systemu Watson OpenScale w celu rejestrowania dodatkowych szczegółów lub atrybutów wrażliwych powiązanych z transakcją modelową. Podczas konfigurowania ustawień modelu, pola meta powinny być uwzględniane w zestawie danych uczących. Jeśli pole meta jest wybrane do oceny wartości godziwości, Watson OpenScale wyszukuje skorelowane funkcje szkoleniowe i ocenia model dla bias pośrednich.

Przykład cURL rejestrowania ładunku

W poniższym przykładzie przedstawiono komendę rejestrowania ładunku cURL:

curl -k -X POST https://$ICP_HOSTNAME:$PORT/openscale/00000000-0000-0000-0000-000000000000/v2/data_sets/<dataset_id>/records -d "$SCORING_PAYLOAD" \
--header 'Content-Type: application/json' --header 'Accept: application/json' --header "Authorization: Bearer $ICP_TOKEN"

Rejestrowanie ładunku przykładowego Python

Poniższy plik przedstawia przykładową komendę rejestrowania ładunku Python z wymaganymi uwierzytelnianiem:

from ibm_cloud_sdk_core.authenticators import IAMAuthenticator
from ibm_watson_openscale import APIClient

service_credentials = {
                  "apikey": "*****",
                  "url": "https://api.aiopenscale.cloud.ibm.com"
               }

authenticator = IAMAuthenticator(
        apikey=service_credentials['apikey']
    )
client = APIClient(
    service_url=service_credentials['url'],
    service_instance_id="230a8e9f-2453-4c2d-a560-2a75399210bf"
    authenticator=authenticator
)

from ibm_watson_openscale.data_sets import DataSetTypes, TargetTypes

# Put your subscription ID here
SUBSCRIPTION_ID = "<subscription_id>"
payload_logging_data_set_id = wos_client.data_sets.list(type=DataSetTypes.PAYLOAD_LOGGING, target_target_id=SUBSCRIPTION_ID, target_target_type=TargetTypes.SUBSCRIPTION).result.data_sets[0].metadata.id

from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord

# Put your scoring ID here
SCORING_ID = "<scoring_id>"
REQUEST_DATA = <put_your_data_here>
RESPONSE_DATA = <put_your_data_here>
wos_client.data_sets.store_records(data_set_id=payload_logging_data_set_id, request_body=[PayloadRecord(scoring_id=SCORING_ID, request=REQUEST_DATA, response=RESPONSE_DATA, response_time=460)])

Informacje o liczbie żądań oceniania

Żądania oceniania są częścią przetwarzania Watson OpenScale . Każdy rekord transakcji, który zostanie wysłany do modelu, który ma zostać oceniony, generuje dodatkowe przetwarzanie, dzięki czemu usługa Watson OpenScale będzie przetwarzała dane i tworzy wyjaśnienia.

• W przypadku modeli tabelarycznych, tekstowych lub modeli obrazów następujące żądania podstawowe generują punkty danych:

  • Jedno żądanie planowania usługi generuje 5000 punktów danych.

• Tylko w przypadku tabelarycznych modeli klasyfikacji istnieje więcej żądań oceniania, które są wykonywane w celu uzyskania kontrastowego wyjaśnienia. Następujące żądania są dodawane do poprzedniego żądania podstawowego:

  • 100 żądań scoringowych generuje 51 dodatkowych punktów danych na żądanie.
  • 101 żądań scoringowych generuje jeden dodatkowy punkt danych na żądanie.

Dalsze kroki

Skonfiguruj modele do oceny.

Temat nadrzędny: Skonfiguruj Watson OpenScale