Dependiendo de su caso de uso, puede crear un despliegue en línea o por lotes para su activo de servicios de IA desde su espacio de despliegue. Despliegue su servicio de IA mediante la interfaz de usuario watsonx.ai, la API REST o la biblioteca de clientes Python.
Tipos de despliegue del servicio de IA
Dependiendo de su caso de uso, puede desplegar el activo de servicio AI como un despliegue en línea o por lotes. Elija el tipo de despliegue en función de las funciones utilizadas en el servicio de IA.
- Debe crear un despliegue en línea para su activo de servicio AI para la puntuación en línea (el servicio AI contiene la función "
generate()") o aplicaciones de streaming (el servicio AI contiene la función "generate_stream()"). - Debe crear un despliegue por lotes para su activo de servicio AI para aplicaciones de puntuación por lotes (el servicio AI contiene la función "
generate_batch()").
Despliegue de servicios de IA con la interfaz de usuario
Puede desplegar su activo de servicios AI desde la interfaz de usuario de su espacio de despliegue.
Requisitos previos
Debe configurar sus credenciales de tarea para desplegar sus servicios de IA. Para obtener más información, consulte Adición de credenciales de tareas.
Debe promocionar su activo de servicios de IA en su espacio de despliegue.
Creación de un despliegue en línea para servicios de IA
Siga estos pasos para crear un despliegue en línea para su activo de servicio AI desde la interfaz de usuario del espacio de despliegue:
Desde su espacio de despliegue, vaya a la pestaña Activos.
Para su activo de servicio AI en la lista de activos, haga clic en el icono Menú y seleccione Desplegar.
Seleccione Online como tipo de despliegue.
Introduzca un nombre para su despliegue y, opcionalmente, introduzca un nombre de servicio, una descripción y etiquetas.
Pulse Crear.
Creación de un despliegue por lotes para servicios de IA
Siga estos pasos para crear un despliegue por lotes para su activo de servicio AI desde la interfaz de usuario del espacio de despliegue:
Desde su espacio de despliegue, vaya a la pestaña Activos.
Para su activo de servicio AI en la lista de activos, haga clic en el icono Menú y seleccione Desplegar.
Seleccione Lote como tipo de despliegue.
Introduzca un nombre para su despliegue y, opcionalmente, introduzca un nombre de servicio, una descripción y etiquetas.
Seleccione una especificación de hardware:
- Extra pequeño: 1 CPU y 4 GB de RAM
- Pequeño: 2 CPU y 8 GB RAM
- Media: 4 CPU y 16 GB RAM
- Grande: 8 CPU y 32 GB RAM
- Extra grande: 16 CPU y 64 GB de RAM
Pulse Crear.
Despliegue de servicios de IA con la biblioteca cliente Python
Puede crear un despliegue en línea o por lotes para su activo de servicio AI utilizando la biblioteca de cliente Python.
Creación del despliegue en línea
El siguiente ejemplo muestra cómo crear un despliegue en línea para su servicio de IA utilizando la biblioteca cliente watsonx.ai Python:
deployment_details = client.deployments.create(
artifact_id=ai_service_id,
meta_props={
client.deployments.ConfigurationMetaNames.NAME: "ai-service - online test",
client.deployments.ConfigurationMetaNames.ONLINE: {},
client.deployments.ConfigurationMetaNames.HARDWARE_SPEC: {
"id": client.hardware_specifications.get_id_by_name("XS")
},
},
)
deployment_id = client.deployments.get_uid(deployment_details)
print("The deployment id:", deployment_id)
Creación de la implantación por lotes
El siguiente ejemplo muestra cómo crear un despliegue por lotes para su servicio de IA utilizando la biblioteca cliente watsonx.ai Python:
deployment_details = client.deployments.create(
artifact_id=ai_service_id,
meta_props={
client.deployments.ConfigurationMetaNames.NAME: f"ai-service - batch",
client.deployments.ConfigurationMetaNames.BATCH: {},
client.deployments.ConfigurationMetaNames.HARDWARE_SPEC: {
"id": client.hardware_specifications.get_id_by_name("XS")
},
},
)
deployment_id = client.deployments.get_uid(deployment_details)
print("The batch deployment id:", deployment_id)
Despliegue de servicios de IA con la API REST
Puede utilizar el punto final de la API REST watsonx.ai " /ml/v4/deployments " para crear una implantación en línea o por lotes de su activo de servicio de IA.
Creación del despliegue en línea
El siguiente ejemplo muestra cómo crear un despliegue en línea para su servicio de IA utilizando la API REST:
# POST /ml/v4/deployments
response = requests.post(
f'{HOST}/ml/v4/deployments?version={VERSION}',
headers=headers,
verify=False,
json={
"space_id": space_id,
"name": "genai flow online",
"custom": {
"key1": "value1",
"key2": "value2",
"model": "meta-llama/llama-3-8b-instruct"
},
"asset": {
"id": asset_id
},
"online": {}
}
)
Creación de la implantación por lotes
El siguiente ejemplo muestra cómo crear un despliegue por lotes para su servicio de IA utilizando la API REST:
response = requests.post(
f'{HOST}/ml/v4/deployments?version={VERSION}',
headers=headers,
verify=False,
json={
"hardware_spec": {
"id": "........",
"num_nodes": 1
},
"space_id": space_id,
"name": "ai service batch dep",
"custom": {
"key1": "value1",
"key2": "value2",
"model": "meta-llama/llama-3-8b-instruct"
},
"asset": {
"id": asset_id
},
"batch": {}
}
)
print(f'POST {HOST}/ml/v4/deployments?version={VERSION}', response.status_code)
print(json.dumps(response.json(), indent=2))
dep_id = response.json()["metadata"]["id"]
print(f"{dep_id=}")
Más información
Tema principal: Despliegue de servicios de IA con codificación directa