Kiedy niestandardowy mechanizm uczenia maszynowego jest dla mnie najlepszym wyborem?

Niestandardowy mechanizm uczenia maszynowego jest najlepszym wyborem, gdy spełnione są następujące warunki:

• Do obsługi modeli uczenia maszynowego nie są używane żadne natychmiast dostępne produkty. Masz system do obsługi modeli i nie ma bezpośredniego wsparcia dla tej funkcji w systemie Watson OpenScale .
• Używany mechanizm udostępniania od dostawcy 3rd-party nie jest jeszcze obsługiwany przez system Watson OpenScale . W takim przypadku należy rozważyć utworzenie niestandardowego mechanizmu uczenia maszynowego jako opakowania dla pierwotnych lub rodzimych wdrożeń.

Jak to działa?

Na poniższym obrazku przedstawiono obsługę środowiska niestandardowego:

Można również odwołać się do następujących odsyłaczy:

Interfejs API rejestrowania ładunkuWatson OpenScale

Pakiet SDK klientaPython

Python SDK for IBM Watson OpenScale

• Kryteria wejściowe dla modelu do obsługi monitorów

  W poniższym przykładzie model przyjmuje jako dane wejściowe wektor predyktora, który jest zasadniczo zbiorem nazwanych zmiennych i ich wartości.

  {
  "fields": [
      "name",
      "age",
      "position"
  ],
  "values": [
      [
          "john",
          33,
          "engineer"
      ],
      [
          "mike",
          23,
          "student"
      ]
  ]
  
  

  Zmienna “age” może być wartościowana dla rzetelności.

  Jeśli dane wejściowe to tensor lub macierz, która jest transformowana z przestrzeni właściwości wejściowych, model ten nie może być obsługiwany przez platformę Watson OpenScale w bieżącej wersji. Co za tym idzie, modele uczenia głębokiego z danymi wejściowymi tekstowymi lub obrazowymi nie mogą być obsługiwane w celu wykrywania i łagodzenia uprzedzeń.

  Ponadto dane uczące muszą być załadowane w celu obsługi funkcji Explainability.

  Dla wyjaśnienia tekstu, pełny tekst powinien być jedną z funkcji. Wyjaśnianie obrazów dla modelu niestandardowego nie jest obsługiwane w bieżącej wersji.

• Kryteria wyjściowe modelu do obsługi monitorów

  Model generuje wektor predyktorów obok prawdopodobieństw predykcji różnych klas w tym modelu.

  {
  "fields": [
      "name",
      "age",
      "position",
      "prediction",
      "probability"
  ],
  "labels": [
      "personal",
      "camping"
  ],
  "values": [
      [
          "john",
          33,
          "engineer",
          "personal",
          [
              0.6744664422398081,
              0.3255335577601919
          ]
      ],
      [
          "mike",
          23,
          "student"
          "camping",
          [
              0.2794765664946941,
              0.7205234335053059
          ]
      ]
  ]
  }
  

  W tym przykładzie "personal” i “camping” są możliwymi klasami, a oceny w każdym wyniku oceniania są przypisane do obu klas. Jeśli prawdopodobieństwa predykcji są brakujące, wykrywanie odchyleń działa, ale auto-debias nie działa.

  Dostęp do danych wyjściowych oceniania można uzyskać z punktu końcowego oceniania na żywo, który Watson OpenScale może wywoływać za pomocą interfejsu API REST. W przypadku modeli CUSTOMML, SageMakeri IBM Watson Machine Learning Watson OpenScale bezpośrednio łączy się z rodzimymi punktami końcowymi oceniania.

Niestandardowy mechanizm uczenia maszynowego

Niestandardowy mechanizm uczenia maszynowego udostępnia infrastrukturę i funkcje hostingowe dla modeli uczenia maszynowego i aplikacji WWW. Niestandardowe mechanizmy uczenia maszynowego, które są obsługiwane przez system Watson OpenScale , muszą spełniać następujące wymagania:

• Udostępnij dwa typy punktów końcowych interfejsu REST API:

  • Punkt końcowy wykrywania (GET-lista wdrożeń i szczegółów)
  • punkty końcowe oceny (punktacja online i w czasie rzeczywistym)

• Wszystkie punkty końcowe muszą być zgodne ze specyfikacją Swagger, aby były obsługiwane.

• Ładunek wejściowy i dane wyjściowe do lub z wdrożenia muszą być zgodne z formatem pliku JSON opisanym w specyfikacji.

System Watson OpenScale obsługuje tylko formaty uwierzytelniania BasicAuth, nonelub apiKey .

Aby wyświetlić specyfikację punktów końcowych interfejsu REST API, należy zapoznać się z sekcją Interfejs REST APIWatson OpenScale.

Dodawanie niestandardowego mechanizmu uczenia maszynowego do systemu Watson OpenScale

Produkt Watson OpenScale można skonfigurować do pracy z niestandardowym dostawcą uczenia maszynowego za pomocą jednej z następujących metod:

• Za pomocą interfejsu konfiguracyjnego można dodać pierwszego niestandardowego dostawcę uczenia maszynowego do systemu Watson OpenScale. Więcej informacji na ten temat zawiera sekcja Określanie niestandardowej instancji uczenia maszynowego.
• Dostawcę uczenia maszynowego można również dodać za pomocą pakietu Python SDK. Tej metody należy użyć, jeśli ma być używany więcej niż jeden dostawca. Więcej informacji na ten temat zawiera sekcja Dodawanie niestandardowego mechanizmu uczenia maszynowego.

Eksploruj dalej

Użyj niestandardowego monitora uczenia maszynowego, aby utworzyć sposób interakcji z innymi usługami:

• Monitorowanie niestandardowego mechanizmu uczenia maszynowego przy użyciu systemu Watson OpenScale

Określanie instancji niestandardowej usługi ML

Pierwszym krokiem w narzędziu Watson OpenScale jest określenie instancji usługi. Instancja usługi jest miejscem, w którym przechowywane są modele i wdrożenia sztucznej inteligencji.

Połącz instancję usługi niestandardowej

Watson OpenScale łączy się z modelami i wdrożeniami sztucznej inteligencji w instancji usługi. Można połączyć się z usługą niestandardową. Aby połączyć usługę z systemem Watson OpenScale, przejdź do karty Konfiguruj , dodaj dostawcę uczenia maszynowego i kliknij ikonę Edytuj . Oprócz nazwy, opisu i określenia typu środowiska Przedprodukcyjnego lub produkcyjnego należy podać następujące informacje specyficzne dla tego typu instancji usługi:

• Nazwa użytkownika
• Hasło
• Punkt końcowy interfejsu API, który używa formatu https://host:port, na przykład https://custom-serve-engine.example.net:8443

Wybierz, czy połączyć się z wdrożeniami , żądając listy , czy wprowadzając pojedyncze punkty końcowe oceniania.

Przykłady niestandardowego mechanizmu uczenia maszynowego

Poniższe pomysły umożliwiają skonfigurowanie własnego niestandardowego mechanizmu uczenia maszynowego.

Python i kolba

Do obsługi modelu scikit-learn można używać języka Python i kolby.

Aby wygenerować model wykrywania dryftu, należy użyć narzędzia scikit-learn w wersji 0.20.2 w notatniku.

Aplikację można wdrożyć lokalnie na potrzeby testowania i jako aplikację na platformie IBM Cloud.

Node.js

Można również znaleźć przykład niestandardowego mechanizmu uczenia maszynowego, który został napisany w języku Node.js tutaj.

Wzorzec kodu End2end

Wzorzec kodu przedstawiający przykład end2end niestandardowego wdrożenia mechanizmu i integracji z systemem Watson OpenScale.

Rejestrowanie ładunku przy użyciu niestandardowego mechanizmu uczenia maszynowego

Aby skonfigurować rejestrowanie ładunku dla mechanizmu innego niżIBM Watson Machine Learning lub niestandardowego mechanizmu uczenia maszynowego, należy powiązać mechanizm ML jako niestandardowy.

CUSTOM_ENGINE_CREDENTIALS = {
    "url": "***",
    "username": "***",
    "password": "***",
}
 
wos_client.service_providers.add(
        name=SERVICE_PROVIDER_NAME,
        description=SERVICE_PROVIDER_DESCRIPTION,
        service_type=ServiceTypes.CUSTOM_MACHINE_LEARNING,
        credentials=CustomCredentials(
            url= CUSTOM_ENGINE_CREDENTIALS['url'],
            username= CUSTOM_ENGINE_CREDENTIALS['username'],
            password= CUSTOM_ENGINE_CREDENTIALS['password'],
        ),
        background_mode=False
    ).result

client.service_providers.get(service_provider_id).result.to_dict()

{
	"input_data": [{
		"fields": [
			"name",
			"age",
			"position"
		],
		"values": [
			[
			"john",
			 33,
			"engineer"
			],
			[
			"mike",
			 23,
			"student"
			]
		]
	}]
}

{
	"predictions": [{
		"fields": [
			"name",
			"age",
			"position",
			"prediction",
			"probability"
		],
		"labels": [
			"personal",
			"camping"
		],
		"values": [
			[
			"john",
			 33,
			"engineer",
			"personal",
			[
			0.6744664422398081,
			0.32553355776019194
			]
			],
			[
			"mike",
			 23,
			"student",
			"camping",
			[
			0.2794765664946941,
			0.7205234335053059
			]
			]
		]
	}]
}

custom_asset = Asset(
        asset_id=asset['entity']['asset']['asset_id'],
        name=asset['entity']['asset']['name'],
        url = "dummy_url",
        asset_type=asset['entity']['asset']['asset_type'] if 'asset_type' in asset['entity']['asset'] else 'model',
        problem_type=ProblemType.MULTICLASS_CLASSIFICATION,
        input_data_type=InputDataType.STRUCTURED,
    )
deployment = AssetDeploymentRequest(
        deployment_id=asset['metadata']['guid'],
        url=asset['metadata']['url'],
        name=asset['entity']['name'],
        deployment_type=asset['entity']['type'],
        scoring_endpoint =  scoring_endpoint
    )
asset_properties = AssetPropertiesRequest(
        prediction_field='predicted_label',
        probability_fields = ["probability"],
        training_data_reference=None,
        training_data_schema=None,
        input_data_schema=None,
        output_data_schema=output_schema,
    )
result = ai_client.subscriptions.add(
        data_mart_id=cls.datamart_id,
        service_provider_id=cls.service_provider_id,
        asset=custom_asset,
        deployment=deployment,
        asset_properties=asset_properties,
        background_mode=False
    ).result

subscription_id = subscription_details.metadata.id
subscription_id
 
details: wos_client.subscriptions.get(subscription_id).result.to_dict()

request_data = {'fields': feature_columns, 
                'values': [[payload_values]]}

response_data = {'fields': list(result['predictions'][0]),
                 'values': [list(x.values()) for x in result['predictions']]}