機械学習モデルの評価には、watsonx.aiRuntimeと多くのサードパーティの機械学習プロバイダーがサポートされています。
これらのサポートされる機械学習プロバイダーのいずれかを使用して、ペイロード・ロギングとフィードバック・ロギングを実行し、モデル評価の一環としてパフォーマンスの正確度、実行時のバイアス検出、説明性、および自動バイアス緩和機能を測定します。
- watsonx.aiランタイム
- Azure ML Studio
- Azure ML Service
- AWS SageMaker
- カスタム(カスタムの機械学習フレームワークは、watsonx.aiRuntime と同等の機能を持つ必要があります)
複数の機械学習エンジンのサポート
機械学習モデルの評価を設定したり、PythonSDKを使用したりする際に、複数の機械学習エンジンをプロビジョニングすることができます。
機械学習モデル評価用プロバイダーの追加
- Configure「タブから、Add machine learning providerをクリックする。
- 追加するプロバイダーを選択します。
- 資格情報などの必要な情報を入力し、 「保存」をクリックします。
機械学習プロバイダーの詳細の変更または更新
タイルメニューの「アイコンをクリックし、「View & edit details」をクリックする。
Python SDK を使用した機械学習プロバイダーの追加
PythonAPI の 'wos_client.service_providers.add
メソッドを使えば、モデル評価のために複数の機械学習エンジンを追加することができる。
IBM watsonx.aiランタイム
IBM watsonx.aiRuntime 機械学習エンジンを追加するには、以下のコマンドを実行する:
WML_CREDENTIALS = {
"url": "https://us-south.ml.cloud.ibm.com",
"apikey": IBM CLOUD_API_KEY
}
wos_client.service_providers.add(
name=SERVICE_PROVIDER_NAME,
description=SERVICE_PROVIDER_DESCRIPTION,
service_type=ServiceTypes.WATSON_MACHINE_LEARNING,
deployment_space_id = WML_SPACE_ID,
operational_space_id = "production",
credentials=WMLCredentialsCloud(
apikey=CLOUD_API_KEY, ## use `apikey=IAM_TOKEN` if using IAM_TOKEN to initiate client
url=WML_CREDENTIALS["url"],
instance_id=None
),
background_mode=False
).result
Microsoft Azure ML Studio
Azure ML Studio 機械学習エンジンを追加するには、以下のコマンドを実行します。
AZURE_ENGINE_CREDENTIALS = {
"client_id": "",
"client_secret": "",
"subscription_id": "",
"tenant": ""
}
wos_client.service_providers.add(
name=SERVICE_PROVIDER_NAME,
description=SERVICE_PROVIDER_DESCRIPTION,
service_type=ServiceTypes.AZURE_MACHINE_LEARNING,
#deployment_space_id = WML_SPACE_ID,
#operational_space_id = "production",
credentials=AzureCredentials(
subscription_id= AZURE_ENGINE_CREDENTIALS['subscription_id'],
client_id = AZURE_ENGINE_CREDENTIALS['client_id'],
client_secret= AZURE_ENGINE_CREDENTIALS['client_secret'],
tenant = AZURE_ENGINE_CREDENTIALS['tenant']
),
background_mode=False
).result
Amazon SageMaker
AWS Sagemaker 機械学習エンジンを追加するには、以下のコマンドを実行します。
SAGEMAKER_ENGINE_CREDENTIALS = {
'access_key_id':””,
'secret_access_key':””,
'region': '}
wos_client.service_providers.add(
name="AWS",
description="AWS Service Provider",
service_type=ServiceTypes.AMAZON_SAGEMAKER,
credentials=SageMakerCredentials(
access_key_id=SAGEMAKER_ENGINE_CREDENTIALS['access_key_id'],
secret_access_key=SAGEMAKER_ENGINE_CREDENTIALS['secret_access_key'],
region=SAGEMAKER_ENGINE_CREDENTIALS['region']
),
background_mode=False
).result
Microsoft Azure ML Service
Azure ML Service 機械学習エンジンを追加するには、以下のコマンドを実行します。
service_type = "azure_machine_learning_service"
added_service_provider_result = wos_client.service_providers.add(
name=SERVICE_PROVIDER_NAME,
description=SERVICE_PROVIDER_DESCRIPTION,
service_type = service_type,
credentials=AzureCredentials(
subscription_id= AZURE_ENGINE_CREDENTIALS['subscription_id'],
client_id = AZURE_ENGINE_CREDENTIALS['client_id'],
client_secret= AZURE_ENGINE_CREDENTIALS['client_secret'],
tenant = AZURE_ENGINE_CREDENTIALS['tenant']
),
background_mode=False
).result
機械学習プロバイダーのリストの生成
すべてのバインディングのリストを表示するには、list
メソッドを実行します。
client.service_providers.list()
uid | 名前 | service_type | 作成済み |
---|---|---|---|
e88ms###-####-####-############ | My Azure ML Service engine | azure_machine_learning | 2019-04-04T09:50:33.189Z |
e88sl###-####-####-############ | My Azure ML Studio engine | azure_machine_learning | 2019-04-04T09:50:33.186Z |
e00sjl###-####-####-############ | WML instance | watson_machine_learning | 2019-03-04T09:50:33.338Z |
e43kl###-####-####-############ | My AWS SageMaker engine | sagemaker_machine_learning | 2019-04-04T09:50:33.186Z |
特定の機械学習エンジンについては、以下のトピックを参照してください。
- カスタム機械学習エンジンを追加する。
- Microsoft Azure Machine Learning Studio エンジンを追加する
- Microsoft Azure 機械学習サービス・エンジンを追加する
- Amazon SageMaker 機械学習エンジンの追加
コーディング例については、 Watson OpenScale サンプル・ノートブックを参照してください。
親トピック: Watson OpenScale