Adım 1: Özel izleme programını ölçüm tanımlamasıyla kaydettirin.

Özel metrikleri kullanmaya başlamadan önce, metrikleri izleyen işlemci olan özel izleme programını kaydettirmeniz gerekir. Metrikleri kendileri de tanımlamanız gerekir.

1. Metric ve Tag nesnelerini içe aktarmak için get_definition(monitor_name) yöntemini kullanın.
2. name, thresholdsve type değerlerini gerektiren metrikleri tanımlamak için metrics yöntemini kullanın.
3. Meta verileri tanımlamak için tags yöntemini kullanın.

Aşağıdaki kod, daha önce sözü edilen çalışma örnek not defterinden verilmiştir:

def get_definition(monitor_name):
    monitor_definitions = wos_client.monitor_definitions.list().result.monitor_definitions
   
    for definition in monitor_definitions:
        if monitor_name == definition.entity.name:
            return definition
   
    return None
 
 
monitor_name = 'my model performance'
metrics = [MonitorMetricRequest(name='sensitivity',
                                thresholds=[MetricThreshold(type=MetricThresholdTypes.LOWER_LIMIT, default=0.8)]),
          MonitorMetricRequest(name='specificity',
                                thresholds=[MetricThreshold(type=MetricThresholdTypes.LOWER_LIMIT, default=0.75)])]
tags = [MonitorTagRequest(name='region', description='customer geographical region')]
 
existing_definition = get_definition(monitor_name)
 
if existing_definition is None:
    custom_monitor_details = wos_client.monitor_definitions.add(name=monitor_name, metrics=metrics, tags=tags, background_mode=False).result
else:
    custom_monitor_details = existing_definition

Nasıl yaptığınızı denetlemek için, yeni yaratılan izleme programınızın ve metriklerinizin doğru yapılandırılıp yapılandırılmadığını görmek için client.data_mart.monitors.list() komutunu çalıştırın.

İzleyici tanıtıcısını aşağıdaki komutu çalıştırarak da alabilirsiniz:

custom_monitor_id = custom_monitor_details.metadata.id
 
print(custom_monitor_id)

Daha ayrıntılı bir görünüm için aşağıdaki komutu çalıştırın:

custom_monitor_details = wos_client.monitor_definitions.get(monitor_definition_id=custom_monitor_id).result
print('Monitor definition details:', custom_monitor_details)

Adım 2: Özel monitörü etkinleştirin.

Daha sonra, abonelik için özel izleyiciyi etkinleştirmeniz gerekir. Bu, monitörü etkinleştirir ve eşikleri ayarlar.

1. Threshold nesnesini içe aktarmak için target yöntemini kullanın.
2. Metrik lower_limit değerini ayarlamak için thresholds yöntemini kullanın. Parametrelerden biri olarak metric_id değerini sağlayın. Anımsamıyorsanız, önceki örnekte gösterildiği gibi ayrıntıları almak için her zaman custom_monitor_details komutunu kullanabilirsiniz.

Aşağıdaki kod, daha önce sözü edilen çalışma örnek not defterinden verilmiştir:

target = Target(
        target_type=TargetTypes.SUBSCRIPTION,
        target_id=subscription_id
    )
 
thresholds = [MetricThresholdOverride(metric_id='sensitivity', type = MetricThresholdTypes.LOWER_LIMIT, value=0.9)]
 
custom_monitor_instance_details = wos_client.monitor_instances.create(
            data_mart_id=data_mart_id,
            background_mode=False,
            monitor_definition_id=custom_monitor_id,
            target=target
).result

Yapılandırma ayrıntılarınızı denetlemek için subscription.monitoring.get_details(monitor_uid=monitor_uid) komutunu kullanın.

Adım 3: Metrik değerlerini depolayın.

Özel metriklerinizi Watson OpenScale eşgörünümünün bulunduğu bölgeye saklamanız ya da kaydetmeniz gerekir.

1. Hangi metrikleri sakladığınızı ayarlamak için metrics yöntemini kullanın.
2. Metrikleri kesinleştirmek için subscription.monitoring.store_metrics yöntemini kullanın.

Aşağıdaki kod, daha önce sözü edilen çalışma örnek not defterinden verilmiştir:

from datetime import datetime, timezone, timedelta
from ibm_watson_openscale.base_classes.watson_open_scale_v2 import MonitorMeasurementRequest
custom_monitoring_run_id = "11122223333111abc"
measurement_request = [MonitorMeasurementRequest(timestamp=datetime.now(timezone.utc),
                                                 metrics=[{"specificity": 0.78, "sensitivity": 0.67, "region": "us-south"}], run_id=custom_monitoring_run_id)]
print(measurement_request[0])
 
published_measurement_response = wos_client.monitor_instances.measurements.add(
    monitor_instance_id=custom_monitor_instance_id,
    monitor_measurement_request=measurement_request).result
published_measurement_id = published_measurement_response[0]["measurement_id"]
print(published_measurement_response)

Tüm özel izleme programlarını listelemek için aşağıdaki komutu çalıştırın:

published_measurement = wos_client.monitor_instances.measurements.get(monitor_instance_id=custom_monitor_instance_id, measurement_id=published_measurement_id).result
print(published_measurement)

1. Adım: Metrik grupları ekleyin

1. Yapılandır sekmesinde Metrik grup ekle' yi tıklatın.
2. Bir metrik grubunu el ile yapılandırmak istiyorsanız, Yeni grubu yapılandır' ı tıklatın.
   a. Metrik grubu için bir ad ve tanım belirtin.
   Belirttiğiniz adın uzunluğu 48 karakterden az ya da 48 karaktere eşit olmalıdır.
   b. Giriş değiştirgeleri döşemede Düzenle simgesini tıklatın ve giriş değiştirgelerinize ilişkin ayrıntıları belirtin.
   Belirttiğiniz parametre adı, metrik API 'da belirtilen parametre adıyla eşleşmelidir.
   c. Özel izleme programınızı yapılandırmak için parametre gerekliyse, Gerekli parametre onay kutusunu seçin.
   d. Ekle'yi tıklatın.
   Giriş değiştirgelerini ekledikten sonra İleridüğmesini tıklatın.
   e Değerlendirmenizin desteklediği model tiplerini seçin ve Next(İleri) düğmesini tıklatın.
   f. Bir değerlendirme zamanlaması belirtmek istemiyorsanız, Kaydetdüğmesini tıklatın.
   g. Bir değerlendirme zamanlaması belirtmek istiyorsanız, geçiş düğmesini tıklatın.
   Değerlendirme zamanlamasına ilişkin aralığı belirtmeli ve Kaydetdüğmesini tıklatmalısınız. H. Metrik ekle ' yi tıklatın ve metrik ayrıntılarını belirtin.
   Kaydet seçeneğini tıklatın.
3. Bir JSON dosyasını kullanarak bir metrik grubu yapılandırmak istiyorsanız, Dosyadan içe aktar' ı tıklatın.
   Bir JSON dosyasını karşıya yükleyin ve İçe Aktar' ı tıklatın.

Adım 2: Metrik uç noktaları ekleme

1. Metrik uç noktaları bölümünde Metrik uç noktası ekle' yi tıklatın.
2. Metrik uç noktası için bir ad ve tanım belirtin.
3. Bağlantı döşemesi üzerindeki Düzenle simgesini tıklatın ve bağlantı ayrıntılarını belirtin.
   Next(İleri) düğmesini tıklatın.
4. Metrik uç noktasıyla ilişkilendirmek istediğiniz metrik gruplarını seçin ve Kaydet' i tıklatın.

Adım 3: Özel izleyicileri yapılandırma

1. Öngörüler Gösterge Panosu sayfasında, bir model devreye alma döşemesi üzerinde İzleyicileri yapılandır seçeneğini belirleyin.
2. Değerlendirmeler bölümünde, eklediğiniz metrik grubunun adını seçin.
3. Metrik uç noktası döşemede Düzenle simgesini seçin.
4. Bir metrik uç noktası seçin ve İleri' yi tıklatın.
   Bir metrik uç noktası kullanmak istemiyorsanız, Yokseçeneğini belirleyin.
5. Modeli değerlendirmek ve eşik değerleri sağlamak için kullanmak istediğiniz metrikleri belirtmek için geçiş kapaklarını kullanın.
   Next(İleri) düğmesini tıklatın.
6. Giriş değiştirgelerine ilişkin değerleri belirtin. Metrik grubu için veri tipi olarak JSON seçtiyseniz, JSON verilerini ekleyin.
   Next(İleri) düğmesini tıklatın.

Artık modelleri özel bir izleme programıyla değerlendirebilirsiniz.