Krok 1: zarejestrowanie niestandardowego monitora przy użyciu definicji pomiarów.

Przed rozpoczęciem korzystania z niestandardowych wielkości mierzonych należy zarejestrować monitor niestandardowy, który jest procesorem, który śledzi pomiary. Należy również zdefiniować same metryki.

1. Aby zaimportować obiekty Metric i Tag , należy użyć metody get_definition(monitor_name) .
2. Użyj metody metrics , aby zdefiniować wielkości mierzone, które wymagają wartości name, thresholdsi type .
3. Aby zdefiniować metadane, należy użyć metody tags .

Poniższy kod pochodzi z przykładowego notatnika roboczego, który został wcześniej wymieniony:

def get_definition(monitor_name):
    monitor_definitions = wos_client.monitor_definitions.list().result.monitor_definitions
   
    for definition in monitor_definitions:
        if monitor_name == definition.entity.name:
            return definition
   
    return None
 
 
monitor_name = 'my model performance'
metrics = [MonitorMetricRequest(name='sensitivity',
                                thresholds=[MetricThreshold(type=MetricThresholdTypes.LOWER_LIMIT, default=0.8)]),
          MonitorMetricRequest(name='specificity',
                                thresholds=[MetricThreshold(type=MetricThresholdTypes.LOWER_LIMIT, default=0.75)])]
tags = [MonitorTagRequest(name='region', description='customer geographical region')]
 
existing_definition = get_definition(monitor_name)
 
if existing_definition is None:
    custom_monitor_details = wos_client.monitor_definitions.add(name=monitor_name, metrics=metrics, tags=tags, background_mode=False).result
else:
    custom_monitor_details = existing_definition

Aby sprawdzić, jak się robi, należy uruchomić komendę client.data_mart.monitors.list() , aby sprawdzić, czy nowo utworzony monitor i pomiary są poprawnie skonfigurowane.

Identyfikator monitora można również uzyskać, uruchamiając następującą komendę:

custom_monitor_id = custom_monitor_details.metadata.id
 
print(custom_monitor_id)

Aby uzyskać bardziej szczegółowy opis, uruchom następującą komendę:

custom_monitor_details = wos_client.monitor_definitions.get(monitor_definition_id=custom_monitor_id).result
print('Monitor definition details:', custom_monitor_details)

Krok 2: Włącz monitor niestandardowy.

Następnie należy włączyć monitor niestandardowy dla subskrypcji. Spowoduje to aktywację monitora i ustawienie progów.

1. Aby zaimportować obiekt Threshold , należy użyć metody target .
2. Użyj metody thresholds , aby ustawić wartość wielkości mierzonej lower_limit . Podaj wartość metric_id jako jeden z parametrów. Jeśli nie pamiętasz, możesz zawsze użyć komendy custom_monitor_details , aby uzyskać szczegółowe informacje, tak jak pokazano to w poprzednim przykładzie.

Poniższy kod pochodzi z przykładowego notatnika roboczego, który został wcześniej wymieniony:

target = Target(
        target_type=TargetTypes.SUBSCRIPTION,
        target_id=subscription_id
    )
 
thresholds = [MetricThresholdOverride(metric_id='sensitivity', type = MetricThresholdTypes.LOWER_LIMIT, value=0.9)]
 
custom_monitor_instance_details = wos_client.monitor_instances.create(
            data_mart_id=data_mart_id,
            background_mode=False,
            monitor_definition_id=custom_monitor_id,
            target=target
).result

Aby sprawdzić szczegóły konfiguracji, należy użyć komendy subscription.monitoring.get_details(monitor_uid=monitor_uid) .

Krok 3: Zapisz wartości wielkości mierzonej.

Niestandardowe pomiary należy przechowywać lub zapisywać w regionie, w którym znajduje się instancja Watson OpenScale .

1. Metoda metrics służy do ustawiania wielkości mierzonych, które są przechowywane.
2. Aby zatwierdzić pomiary, należy użyć metody subscription.monitoring.store_metrics .

Poniższy kod pochodzi z przykładowego notatnika roboczego, który został wcześniej wymieniony:

from datetime import datetime, timezone, timedelta
from ibm_watson_openscale.base_classes.watson_open_scale_v2 import MonitorMeasurementRequest
custom_monitoring_run_id = "11122223333111abc"
measurement_request = [MonitorMeasurementRequest(timestamp=datetime.now(timezone.utc),
                                                 metrics=[{"specificity": 0.78, "sensitivity": 0.67, "region": "us-south"}], run_id=custom_monitoring_run_id)]
print(measurement_request[0])
 
published_measurement_response = wos_client.monitor_instances.measurements.add(
    monitor_instance_id=custom_monitor_instance_id,
    monitor_measurement_request=measurement_request).result
published_measurement_id = published_measurement_response[0]["measurement_id"]
print(published_measurement_response)

Aby wyświetlić listę wszystkich monitorów niestandardowych, uruchom następującą komendę:

published_measurement = wos_client.monitor_instances.measurements.get(monitor_instance_id=custom_monitor_instance_id, measurement_id=published_measurement_id).result
print(published_measurement)

Krok 1: Dodawanie grup metryk

1. Na karcie Konfiguracja kliknij opcję Dodaj grupę metryk.
2. Jeśli chcesz skonfigurować grupę metryk ręcznie, kliknij opcję Konfiguruj nową grupę.
   a. Podaj nazwę i opis grupy wielkości mierzonych.
   Długość podanej nazwy musi być mniejsza lub równa 48 znaków.
   b. Kliknij ikonę Edytuj w kaflu Parametry wejściowe i określ szczegóły dla parametrów wejściowych.
   Podana nazwa parametru musi być zgodna z nazwą parametru, która jest określona w interfejsie API wielkości mierzonej.
   c. Jeśli parametr jest wymagany do skonfigurowania monitora niestandardowego, zaznacz pole wyboru Wymagany parametr .
   d. Kliknij opcję Dodaj.
   Po dodaniu parametrów wejściowych kliknij przycisk Dalej.
   e. Wybierz typy modeli obsługiwane przez ewaluację, a następnie kliknij przycisk Dalej.
   f. Jeśli nie chcesz określać harmonogramu wartościowania, kliknij przycisk Zapisz.
   G. Jeśli chcesz określić harmonogram oceny, kliknij przełącznik.
   Należy określić przedział czasu dla harmonogramu wartościowania i kliknąć przycisk Zapisz. h. Kliknij opcję Dodaj pomiar i określ szczegóły metryki.
   Kliknij przycisk Zapisz.
3. Jeśli chcesz skonfigurować grupę metryk przy użyciu pliku JSON, kliknij opcję Importuj z pliku.
   Prześlij plik JSON i kliknij opcję Importuj.

Krok 2: Dodawanie punktów końcowych pomiarów

1. W sekcji Punkty końcowe pomiaru kliknij opcję Dodaj punkt końcowy pomiaru.
2. Podaj nazwę i opis dla punktu końcowego pomiaru.
3. Kliknij ikonę Edytuj na kaflu Połączenie i określ szczegóły połączenia.
   Kliknij przycisk Dalej.
4. Wybierz grupy wielkości mierzonych, które mają zostać powiązane z punktem końcowym pomiaru, a następnie kliknij przycisk Zapisz.

Krok 3: konfigurowanie monitorów niestandardowych

1. Na stronie Panel kontrolny produktu Insights wybierz opcję Skonfiguruj monitory na płytce wdrażania modelu.
2. W sekcji Oceny wybierz nazwę grupy wielkości mierzonych, która została dodana.
3. Wybierz ikonę Edytuj w kaflu punktu końcowego pomiaru .
4. Wybierz punkt końcowy pomiaru i kliknij przycisk Dalej.
   Jeśli nie chcesz używać punktu końcowego pomiaru, wybierz opcję Brak.
5. Aby określić wielkości mierzone, które mają być używane do oceny modelu, i podać wartości progowe, należy użyć przełączników.
   Kliknij przycisk Dalej.
6. Określ wartości dla parametrów wejściowych. Jeśli wybrano format JSON jako typ danych dla grupy wielkości mierzonych, dodaj dane JSON.
   Kliknij przycisk Dalej.

Teraz można oceniać modele za pomocą monitora niestandardowego.