Je nach Anwendungsfall können Sie eine Online- oder eine Batch-Bereitstellung für Ihr KI-Service-Asset in Ihrem Bereitstellungsbereich erstellen. Stellen Sie Ihren KI-Dienst über die watsonx.ai, die REST-API oder die Python bereit.
Einsatzarten für den KI-Dienst
Je nach Anwendungsfall können Sie das KI-Service-Asset als Online- oder Batch-Bereitstellung einsetzen. Wählen Sie die Bereitstellungsart auf der Grundlage der im KI-Dienst verwendeten Funktionen.
- Sie müssen eine Online-Bereitstellung für Ihr KI-Service-Asset für Online-Scoring (KI-Service enthält die Funktion "
generate()) oder Streaming-Anwendungen (KI-Service enthält die Funktion "generate_stream()) erstellen. - Sie müssen eine Batch-Bereitstellung für Ihr AI-Service-Asset für Batch-Scoring-Anwendungen erstellen (AI-Service enthält die Funktion "
generate_batch()).
Bereitstellung von KI-Diensten über die Benutzeroberfläche
Sie können Ihr KI-Service-Asset über die Benutzeroberfläche Ihres Bereitstellungsraums bereitstellen.
Voraussetzungen
Sie müssen die Anmeldedaten für Ihre Aufgaben einrichten, um Ihre KI-Dienste bereitzustellen. Weitere Informationen finden Sie unter Hinzufügen von Berechtigungsnachweisen für Aufgaben.
Sie müssen Ihre KI-Dienste in Ihrem Einsatzgebiet bekannt machen.
Erstellung einer Online-Bereitstellung für AI-Dienste
Gehen Sie wie folgt vor, um eine Online-Bereitstellung für Ihr AI-Service-Asset über die Benutzeroberfläche des Bereitstellungsbereichs zu erstellen:
Gehen Sie in Ihrem Bereitstellungsbereich auf die Registerkarte Assets.
Klicken Sie für Ihr AI-Service-Asset in der Asset-Liste auf das Menü-Symbol und wählen Sie Bereitstellen.
Wählen Sie Online als Bereitstellungsart.
Geben Sie einen Namen für Ihre Bereitstellung ein und geben Sie optional einen Serving-Namen, eine Beschreibung und Tags ein.
Klicken Sie auf Erstellen.
Erstellen einer Batch-Bereitstellung für AI-Dienste
Gehen Sie wie folgt vor, um eine Batch-Bereitstellung für Ihr AI-Service-Asset über die Benutzeroberfläche des Bereitstellungsbereichs zu erstellen:
Gehen Sie in Ihrem Bereitstellungsbereich auf die Registerkarte Assets.
Klicken Sie für Ihr AI-Service-Asset in der Asset-Liste auf das Menü-Symbol und wählen Sie Bereitstellen.
Wählen Sie Batch als Bereitstellungsart.
Geben Sie einen Namen für Ihre Bereitstellung ein und geben Sie optional einen Serving-Namen, eine Beschreibung und Tags ein.
Wählen Sie eine Hardware-Spezifikation:
- Extra klein: 1 CPU und 4 GB RAM
- Klein: 2 CPU und 8 GB RAM
- Mittel: 4 CPU und 16 GB RAM
- Groß: 8 CPU und 32 GB RAM
- Extra groß: 16 CPU und 64 GB RAM
Klicken Sie auf Erstellen.
Bereitstellung von KI-Diensten mit der Python
Sie können eine Online- oder Batch-Bereitstellung für Ihr KI-Service-Asset mithilfe der Python erstellen.
Online-Bereitstellung erstellen
Das folgende Beispiel zeigt, wie Sie eine Online-Bereitstellung für Ihren KI-Dienst mithilfe der Python watsonx.ai erstellen:
deployment_details = client.deployments.create(
artifact_id=ai_service_id,
meta_props={
client.deployments.ConfigurationMetaNames.NAME: "ai-service - online test",
client.deployments.ConfigurationMetaNames.ONLINE: {},
client.deployments.ConfigurationMetaNames.HARDWARE_SPEC: {
"id": client.hardware_specifications.get_id_by_name("XS")
},
},
)
deployment_id = client.deployments.get_uid(deployment_details)
print("The deployment id:", deployment_id)
Erstellen einer Batch-Bereitstellung
Das folgende Beispiel zeigt, wie Sie eine Batch-Bereitstellung für Ihren KI-Dienst mithilfe der Python watsonx.ai erstellen:
deployment_details = client.deployments.create(
artifact_id=ai_service_id,
meta_props={
client.deployments.ConfigurationMetaNames.NAME: f"ai-service - batch",
client.deployments.ConfigurationMetaNames.BATCH: {},
client.deployments.ConfigurationMetaNames.HARDWARE_SPEC: {
"id": client.hardware_specifications.get_id_by_name("XS")
},
},
)
deployment_id = client.deployments.get_uid(deployment_details)
print("The batch deployment id:", deployment_id)
Bereitstellung von KI-Diensten mit REST API
Sie können den REST-API-Endpunkt ' /ml/v4/deployments watsonx.ai verwenden, um eine Online- oder Batch-Bereitstellung für Ihr KI-Service-Asset zu erstellen.
Online-Bereitstellung erstellen
Das folgende Beispiel zeigt, wie Sie mit Hilfe der REST-API eine Online-Bereitstellung für Ihren KI-Dienst erstellen:
# POST /ml/v4/deployments
response = requests.post(
f'{HOST}/ml/v4/deployments?version={VERSION}',
headers=headers,
verify=False,
json={
"space_id": space_id,
"name": "genai flow online",
"custom": {
"key1": "value1",
"key2": "value2",
"model": "meta-llama/llama-3-8b-instruct"
},
"asset": {
"id": asset_id
},
"online": {}
}
)
Erstellen einer Batch-Bereitstellung
Das folgende Beispiel zeigt, wie Sie mit Hilfe der REST-API eine Batch-Bereitstellung für Ihren KI-Dienst erstellen:
response = requests.post(
f'{HOST}/ml/v4/deployments?version={VERSION}',
headers=headers,
verify=False,
json={
"hardware_spec": {
"id": "........",
"num_nodes": 1
},
"space_id": space_id,
"name": "ai service batch dep",
"custom": {
"key1": "value1",
"key2": "value2",
"model": "meta-llama/llama-3-8b-instruct"
},
"asset": {
"id": asset_id
},
"batch": {}
}
)
print(f'POST {HOST}/ml/v4/deployments?version={VERSION}', response.status_code)
print(json.dumps(response.json(), indent=2))
dep_id = response.json()["metadata"]["id"]
print(f"{dep_id=}")
Weitere Informationen
Übergeordnetes Thema: Bereitstellung von KI-Diensten mit direkter Kodierung