Para desplegar un servicio de IA, debe crear un activo de repositorio en watsonx.ai Runtime que contenga el servicio de IA y cargar el archivo Python en el activo.
Requisitos para crear activos de servicios de IA
Cuando utilizas un Entorno de Desarrollo Integrado (IDE) como VSCode, eclipse, PyCharm, o más para construir tu aplicación de IA generativa, debes crear un archivo Python para almacenar tu servicio de IA. Once you define the function, you must compress the AI service to create a gzip
archive (.gz
file format).
Cuando utilizas la librería cliente Python watsonx.ai para crear tu activo de servicio AI, la librería almacena automáticamente la función en el archivo ' gzip
' por ti. Sin embargo, al crear un activo de servicio AI mediante la API REST, debe seguir el proceso de comprimir manualmente su archivo Python en un archivo ' gzip
'.
Debe utilizar la especificación de software " runtime-24.1-py3.11
" para crear y desplegar un activo de servicio de IA codificado en Python.
Creación de activos de servicios de IA con la biblioteca de clientes Python
Puede utilizar la función " store_ai_service
" de la biblioteca cliente watsonx.ai Python para crear un activo de servicio de IA.
El siguiente ejemplo de código muestra cómo crear un activo de servicio AI utilizando la biblioteca de cliente Python:
documentation_request = {
"application/json": {
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"query": {"type": "string"},
"parameters": {
"properties": {
"max_new_tokens": {"type": "integer"},
"top_p": {"type": "number"},
},
"required": ["max_new_tokens", "top_p"],
},
},
"required": ["query"],
}
}
documentation_response = {
"application/json": {
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {"query": {"type": "string"}, "result": {"type": "string"}},
"required": ["query", "result"],
}
}
meta_props = {
client.repository.AIServiceMetaNames.NAME: "AI service example",
client.repository.AIServiceMetaNames.DESCRIPTION: "This is AI service function",
client.repository.AIServiceMetaNames.SOFTWARE_SPEC_ID: client.software_specifications.get_id_by_name(
"runtime-24.1-py3.11"
),
client.repository.AIServiceMetaNames.REQUEST_DOCUMENTATION: documentation_request,
client.repository.AIServiceMetaNames.RESPONSE_DOCUMENTATION: documentation_response,
}
stored_ai_service_details = client.repository.store_ai_service(
basic_generate_demo, meta_props
)
ai_service_id = client.repository.get_ai_service_id(stored_ai_service_details)
print("The AI service asset id:", ai_service_id)
- Los parámetros "
REQUEST_DOCUMENTATION
" y "RESPONSE_DOCUMENTATION
" son opcionales. You can use these parameters to store the schema of the request and response ofgenerate
andgenerate_stream
functions. - La llamada a la función "
client.repository.store_ai_service
" guarda internamente la función de servicio AI "basic_generate_demo
" en un archivo "gzip
".
Para obtener más información, consulte la documentación de la biblioteca cliente Pythonwatsonx.ai para crear un activo de servicio de IA.
Creación de un activo de servicio de IA con la API REST
Puede utilizar el punto final de la API REST " /ml/v4/ai_services
" para crear el activo de servicios de IA en el repositorio watsonx.ai Runtime. Para obtener más información, consulte la documentación de la API RESTwatsonx.ai.
Más información
Tema principal: Despliegue de servicios de IA con codificación directa