AIサービスをデプロイするには、watsonx.aiRuntimeにAIサービスを含むリポジトリアセットを作成し、そのアセットにPythonファイルをアップロードする必要があります。
AIサービス資産作成の要件
VSCode、eclipse、PyCharm,などの統合開発環境(IDE)を使ってジェネレーティブAIアプリケーションを構築する場合、AIサービスを格納するPythonファイルを作成する必要がある。 関数を定義したら、AIサービスを圧縮して'gzip
アーカイブ(.gz
ファイル形式)を作成する必要があります。
watsonx.ai Pythonクライアントライブラリを使用して AI サービスアセットを作成すると、ライブラリは自動的に 'gzip
アーカイブに関数を格納します。 しかし、REST APIを使用してAIサービスアセットを作成する場合は、Pythonファイルを手動で「gzip
アーカイブに圧縮するプロセスに従わなければなりません。
PythonでコーディングされたAIサービス資産を作成し、デプロイするには、「runtime-24.1-py3.11
ソフトウェア仕様を使用する必要があります。
PythonクライアントライブラリでAIサービス資産を作成する
watsonx.ai Pythonクライアントライブラリの 'store_ai_service
関数を使用して、AI サービスアセットを作成できます。
以下のコードサンプルは、Pythonクライアントライブラリを使用してAIサービスアセットを作成する方法を示しています:
documentation_request = {
"application/json": {
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"query": {"type": "string"},
"parameters": {
"properties": {
"max_new_tokens": {"type": "integer"},
"top_p": {"type": "number"},
},
"required": ["max_new_tokens", "top_p"],
},
},
"required": ["query"],
}
}
documentation_response = {
"application/json": {
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {"query": {"type": "string"}, "result": {"type": "string"}},
"required": ["query", "result"],
}
}
meta_props = {
client.repository.AIServiceMetaNames.NAME: "AI service example",
client.repository.AIServiceMetaNames.DESCRIPTION: "This is AI service function",
client.repository.AIServiceMetaNames.SOFTWARE_SPEC_ID: client.software_specifications.get_id_by_name(
"runtime-24.1-py3.11"
),
client.repository.AIServiceMetaNames.REQUEST_DOCUMENTATION: documentation_request,
client.repository.AIServiceMetaNames.RESPONSE_DOCUMENTATION: documentation_response,
}
stored_ai_service_details = client.repository.store_ai_service(
basic_generate_demo, meta_props
)
ai_service_id = client.repository.get_ai_service_id(stored_ai_service_details)
print("The AI service asset id:", ai_service_id)
REQUEST_DOCUMENTATION
と'RESPONSE_DOCUMENTATION
パラメーターはオプションである。 これらのパラメータを使用して、'generate
と 'generate_stream
関数のリクエストとレスポンスのスキーマを保存することができる。- 関数コール'
client.repository.store_ai_service
は、AIサービス関数'basic_generate_demo
を内部的に'gzip
ファイルに保存する。
詳細は「watsonx.ai'PythonAIサービス資産を作成するためのクライアント・ライブラリ・ドキュメント参照。
REST APIによるAIサービス資産の作成
/ml/v4/ai_services
REST API エンドポイントを使用して、watsonx.aiRuntime リポジトリに AI サービス アセットを作成できます。 詳しくは、watsonx.aiREST API ドキュメントをご覧ください。
詳細情報
親トピック ダイレクトコーディングによるAIサービスの展開