Chcete-li konfigurovat monitory, musíte odeslat informační obsah přidělení, chcete-li protokolovat data, která se mají monitorovat.

Pro modely implementované v produktu IBM Watson Machine Learningmusíte svůj model skórovat pomocí rozhraní API IBM Watson Machine Learning . Informační obsah hodnocení se automaticky odešle na Watson OpenScale.

Pro jiné stroje pro výuku počítačů (například: Microsoft Azure, Amazon SageMaker) se informační obsah skóre musí odeslat pomocí rozhraní API protokolování informačního obsahu. Další informace naleznete v tématu Protokolování informačního obsahu pro instance služeb mimo produktIBM Watson Machine Learning.

Kroky pro protokolování informačního obsahu

1. Na panelu dashboard Watson OpenScale klepněte na dlaždici implementace.
2. Klepněte na volbu Konfigurovat monitory.
3. V navigačním panelu klepněte na volbu Protokolování informačního obsahu.
4. Vyberte, zda má být použit kód cURL nebo Python , když klepnete na kartu cURL nebo Python .
5. Klepněte na volbu Kopírovat do schránky a vložte ji do protokolu požadavku implementace modelu protokolu a odezvy.

Další informace naleznete v tématu Protokolování informačního obsahu pro instance služeb mimo produktIBM Watson Machine Learning.

Pole a hodnoty v úsecích kódu musí být nahrazeny skutečnými hodnotami, jak jsou uvedeny pouze příklady.

Po spuštění protokolování informačního obsahu se ve sloupci Připraveno k monitorování pro vybranou implementaci zobrazí zaškrtnutí. Pokračujte klepnutím na volbu Konfigurovat monitory .

Pole protokolování informačního obsahu

Následující pole tvoří typický požadavek na protokolování informačního obsahu:

• scoring_id: ID transakce hodnocení.
• response_time: Doba (ms) potřebná k provedení předpovědi (pro monitorování výkonu).
• request_data: Sekce požadavku uvádí pole a hodnoty pro data školení i metadata, což jsou funkce, které můžete použít k měření nepřímého zkreslení.
  • fields: Pole názvů polí.
  • values: Pole hodnot polí.
• meta: Sekce meta určuje pole a hodnoty pro metadata.
  • fields: Uvádí seznam polí pro metadata.
  • values: Uvádí seznam hodnot pro metadata.
• response_data: Sekce odezvy určuje pole a hodnoty výsledku.
  • fields: Pole názvů polí.
  • values: Pole hodnot polí.
• subscription_id: Jedinečné ID odběru.
• deployment_id: Jedinečné ID implementace v produktu Watson OpenScale.

Meta pole a hodnoty nejsou zpracovány nebo jsou známy modelu, ale lze je předat produktu Watson OpenScale a protokolovat další podrobnosti nebo citlivé atributy, které souvisejí s modelovou transakcí. Při konfiguraci nastavení modelu by měla být do sady dat školení zahrnuta meta pole. Když je vybráno meta pole pro vyhodnocení spravedlnosti, produkt Watson OpenScale vyhledá korelované funkce školení a vyhodnotí model pro nepřímou zaujatost.

Ukázka cURL protokolování informačního obsahu

Následující příklad ukazuje příkaz protokolování informačního obsahu cURL:

curl -k -X POST https://$ICP_HOSTNAME:$PORT/openscale/00000000-0000-0000-0000-000000000000/v2/data_sets/<dataset_id>/records -d "$SCORING_PAYLOAD" \
--header 'Content-Type: application/json' --header 'Accept: application/json' --header "Authorization: Bearer $ICP_TOKEN"

Ukázka protokolování informačního obsahu Python

Následující soubor zobrazuje ukázkový příkaz protokolování informačního obsahu Python s vyžadovaným ověřením:

from ibm_cloud_sdk_core.authenticators import IAMAuthenticator
from ibm_watson_openscale import APIClient

service_credentials = {
                  "apikey": "*****",
                  "url": "https://api.aiopenscale.cloud.ibm.com"
               }

authenticator = IAMAuthenticator(
        apikey=service_credentials['apikey']
    )
client = APIClient(
    service_url=service_credentials['url'],
    service_instance_id="230a8e9f-2453-4c2d-a560-2a75399210bf"
    authenticator=authenticator
)

from ibm_watson_openscale.data_sets import DataSetTypes, TargetTypes

# Put your subscription ID here
SUBSCRIPTION_ID = "<subscription_id>"
payload_logging_data_set_id = wos_client.data_sets.list(type=DataSetTypes.PAYLOAD_LOGGING, target_target_id=SUBSCRIPTION_ID, target_target_type=TargetTypes.SUBSCRIPTION).result.data_sets[0].metadata.id

from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord

# Put your scoring ID here
SCORING_ID = "<scoring_id>"
REQUEST_DATA = <put_your_data_here>
RESPONSE_DATA = <put_your_data_here>
wos_client.data_sets.store_records(data_set_id=payload_logging_data_set_id, request_body=[PayloadRecord(scoring_id=SCORING_ID, request=REQUEST_DATA, response=RESPONSE_DATA, response_time=460)])

Porozumění počtu požadavků na přidělení skóre

Požadavky na přidělení skóre jsou součástí zpracování Watson OpenScale . Každý záznam transakce, který odešlete na model, který má být skóroval, vygeneruje další zpracování tak, aby služba Watson OpenScale mohla data uložit a vytvořila vysvětlení.

• V případě tabulkových, textových nebo obrazových modelů následující základní požadavek generuje datové body:

  • Jeden požadavek na plánování hodnocení služeb generuje 5000 datových bodů.

• Pouze pro tabulkové modely klasifikace existuje více požadavků na přidělení skóre, které jsou provedeny pro contrativní vysvětlení. Následující požadavky jsou přidány k předchozímu požadavku úrovně baseline:

  • 100 požadavků na přidělení skóre vygeneruje 51 přebytečných datových bodů na požadavek.
  • 101 bodových požadavků vygeneruje jeden extra datový bod na požadavek.

Další kroky

Nakonfigurujte modely pro vyhodnocení.

Nadřízené téma: Konfigurace produktu Watson OpenScale