Creación de un despliegue para un foundation model personalizado

Volver a la versión inglesa de la documentación

Última actualización: 11 nov 2024

Creación de un despliegue para un foundation model personalizado

Una vez creado un activo de foundation model personalizado, puede crear un despliegue para el modelo con el fin de que esté disponible para inferencias.

Requisitos previos

Debe configurar sus credenciales de tarea generando una clave API. Para obtener más información, consulte Gestión de credenciales de tareas.
Antes de desplegar su modelo, revise las Especificaciones de hardware disponibles y elija una especificación de hardware predefinida que se ajuste a su modelo.
Además, revise si las especificaciones de software disponibles coinciden con la arquitectura de su modelo. Para más detalles, consulte Arquitecturas de modelos compatibles.

Creación de un despliegue desde la interfaz de usuario watsonx.ai

Siga estos pasos para crear un despliegue para un foundation model personalizado:

En su espacio de despliegue o en su proyecto, vaya a la pestaña Activos.
Busque su modelo en la lista de activos, haga clic en el icono de menú ' , y seleccione Desplegar.
Introduzca un nombre para su despliegue y, opcionalmente, introduzca un nombre de servicio, una descripción y etiquetas.
Nota:
- Utilice el campo Nombre de servicio para especificar un nombre para su despliegue en lugar del ID de despliegue.
- El nombre de servicio debe ser único dentro del espacio de nombres.
- El nombre del servidor debe contener sólo estos caracteresa-z,0-9,_] y debe tener un máximo de 36 caracteres.
- En los flujos de trabajo en los que su foundation model personalizado se utiliza periódicamente, considere la posibilidad de asignar a su modelo el mismo nombre de servicio cada vez que lo despliegue. De esta manera, después de eliminar y volver a desplegar el modelo, puede seguir utilizando el mismo punto final en su código.
Seleccione una configuración y una especificación de software para su modelo.
Opcional: Si desea anular algunos de los parámetros del modelo base, haga clic en Parámetros de despliegue del modelo y, a continuación, introduzca los nuevos valores de los parámetros:
- Tipo de datos: Elija el float16 o bfloat16 para especificar el tipo de datos de su modelo.
- Tamaño máximo de lote: Introduzca el tamaño máximo de lote para su modelo.
- Máximo de peticiones concurrentes: Introduzca el número máximo de peticiones concurrentes que se pueden realizar a su modelo.
- Máximo de nuevos tokens: Introduzca el número máximo de tokens que se pueden crear para su modelo para una solicitud de inferencia.
- Longitud máxima de secuencia: Introduzca la longitud máxima de secuencia para su modelo.
Pulse Crear.

Nota:

Si utiliza la especificación de software " watsonx-cfm-caikit-1.1 " para desplegar su modelo, no se utilizará el valor del parámetro " max_concurrent_requests ".

Probar el despliegue

Siga estos pasos para probar la implantación de su foundation model personalizado:

En su espacio de despliegue o en su proyecto, abra la pestaña Despliegues y haga clic en el nombre del despliegue.
Haga clic en la pestaña Prueba para introducir texto y obtener una respuesta del activo desplegado.
Introduzca los datos de la prueba en uno de los siguientes formatos, en función del tipo de activo que haya desplegado:
- Texto: Introduzca datos de entrada de texto para generar un bloque de texto como salida.
- Stream: Introduzca datos de entrada de texto para generar un flujo de texto como salida.
- JSON: Introduzca los datos de entrada JSON para generar la salida en formato JSON.
Haga clic en Generar para obtener resultados basados en su consulta.

Recuperación del punto final para implantaciones de foundation model personalizados

Siga estos pasos para recuperar la URL del punto final para la implantación de su foundation model personalizado. Necesitará esta URL para acceder a la implantación desde sus aplicaciones:

En su espacio de despliegue o en su proyecto, abra la pestaña Despliegues y haga clic en el nombre del despliegue.
En la pestaña Referencia API, encontrará los enlaces a los puntos finales privados y públicos y los fragmentos de código que puede utilizar para incluir los detalles de los puntos finales en una aplicación.

Nota:

Si ha añadido Nombre del servidor al crear la implantación en línea, verá dos URL de punto final. La primera URL contiene el ID de despliegue y la segunda, el nombre de su servicio. Puede utilizar cualquiera de estos URL con el despliegue.

Crear un despliegue mediante programación

Para utilizar la API watsonx.ai, necesitas un token de portador. Para obtener más información, consulte Credenciales de acceso programático.

Nota:

Puede anular los valores por defecto de los parámetros personalizados foundation model en el campo " online.parameters.foundation_model ".
Si utiliza la especificación de software " watsonx-cfm-caikit-1.1 " para desplegar su modelo, el parámetro " max_concurrent_requests " no se utiliza.
Utilice el campo Nombre de servicio para especificar un nombre para su despliegue en lugar del ID de despliegue.
El nombre de servicio debe ser único dentro del espacio de nombres.
El nombre del servidor debe contener sólo estos caracteresa-z,0-9,_] y debe tener un máximo de 36 caracteres.
En los flujos de trabajo en los que su foundation model personalizado se utiliza periódicamente, considere la posibilidad de asignar a su modelo el mismo nombre de servicio cada vez que lo despliegue. De esta manera, después de eliminar y volver a desplegar el modelo, puede seguir utilizando el mismo punto final en su código.

Para desplegar un foundation model personalizado mediante programación:

Iniciar el despliegue del modelo. Consulte este código para ver un ejemplo de despliegue en el espacio:

curl -X POST "https://<your cloud hostname>/ml/v4/deployments?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
  "asset":{
    "id":<your custom foundation model asset id>
  },
  "online":{
    "parameters":{
      "serving_name":"test_custom_fm",
      "foundation_model": {
          "max_sequence_length": 4096
      }
    }
  },
  "hardware_request": {
    "size": "<configuration size>",
    "num_nodes": 1
  },
  "description": "Testing deployment using custom foundation model",
  "name":"custom_fm_deployment",
  "space_id":<your space id>
}'

El parámetro size puede ser gpu_s, gpu_m o gpu_l.
Para despliegues de proyectos, en lugar de space_id utilice project_id.

El ID de despliegue se devuelve en la respuesta de la API, en el campo metadata.id.

Utilice el ID de despliegue para sondear el estado del despliegue. Consulte este código para ver un ejemplo de cómo consultar el estado de un modelo desplegado en un proyecto.
```
curl -X GET "https://<your cloud hostname>/ml/v4/deployments/<your deployment ID>?version=2024-01-29&project_id=<your project ID>" \
-H "Authorization: Bearer $TOKEN"
```
El deployed_asset_type se devuelve como custom_foundation_model. Espere hasta que el estado cambie de initializing a ready.

Próximos pasos

Solicitar un foundation model personalizado

Tema padre: Despliegue de modelos personalizados de la fundación