Antes de empezar

Debe activar las credenciales de tarea para poder desplegar un foundation model personalizado. Para obtener más información, consulte Añadir credenciales de tareas.

Añadir una conexión a su modelo

Puede añadir una conexión a su modelo desde un espacio de despliegue o desde un proyecto. Para añadir una conexión mediante programación, consulte Creación de una conexión mediante el cliente Python o Creación de una conexión mediante la API.

Creación de un activo modelo

Para crear un activo de foundation model personalizado:

1. En su espacio de despliegue o en su proyecto, vaya a Activos y, a continuación, haga clic en Importar activos.

2. Seleccione foundation model personalizado.

3. Seleccione la conexión al almacenamiento en la nube donde se encuentra el modelo.

4. Seleccione la carpeta que contiene su modelo.

   

5. Especifique la información necesaria. Si no envía ninguna entrada para los parámetros del modelo, se utilizarán los valores por defecto.

   

6. Haga clic en Importar.

Para obtener información sobre los parámetros de modelo disponibles, consulte Parámetros globales para modelos de cimentación personalizados.

Creación programática de un activo foundation model personalizado

Para obtener información sobre los parámetros de modelo disponibles, consulte Parámetros globales para modelos de cimentación personalizados. Si no envía ninguna entrada para los parámetros del modelo, se utilizarán los valores por defecto.

Véase el código de ejemplo para añadir un activo de modelo a un espacio de despliegue:

curl -X POST "https://<your cloud hostname>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
    "type": "custom_foundation_model_1.0",
    "framework": "custom_foundation_model",
    "version": "1.0",
    "name": "<asset name>",
    "software_spec": {
        "name": "<name of software specification>"
    },
    "space_id": "<your space ID>",
    "foundation_model": {
        "model_id": "<model ID>",
        "parameters": [
        {
            "name": "dtype",
            "default": "float16",
            "type": "string",
            "display_name": "Data Type",
            "options": ["float16","bfloat16"]
        },
        {
            "name": "max_batch_size",
            "default": 256,
            "type": "number",
            "display_name": "Max Batch Size"
        }],

        "model_location": {
            "type": "connection_asset",
            "connection": {
                "id": "<your connection ID>"
            },
            "location": {
                "bucket": "<bucket where the model is located>",
                "file_path": "<subpath to model files, if required>"
            }
        }
    }
}'

Véase el código de ejemplo para añadir un activo de modelo a un proyecto:

curl -X POST "https://<your cloud hostname>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
    "type": "custom_foundation_model_1.0",
    "framework": "custom_foundation_model",
    "version": "1.0",
    "name": "<asset name>",
    "software_spec": {
        "name": "<name of software specification>"
    },
    "project_id": "<your project ID>",
    "foundation_model": {
        "model_id": "<model ID>",
        "parameters": [
        {
            "name": "dtype",
            "default": "float16",
            "type": "string",
            "display_name": "Data Type",
            "options": ["float16","bfloat16"]
        },
        {
            "name": "max_batch_size",
            "default": 256,
            "type": "number",
            "display_name": "Max Batch Size"
        }],

        "model_location": {
            "type": "connection_asset",
            "connection": {
                "id": "<your connection ID>"
            },
            "location": {
                "bucket": "<bucket where the model is located>",
                "file_path": "<subpath to model files, if required>"
            }
        }
    }
}'

Parámetros globales para modelos de cimentación personalizados

Puede utilizar parámetros globales para desplegar sus modelos de base personalizados. Ajuste el valor del parámetro de su modelo base dentro del rango que se especifica en la siguiente tabla. Si no lo hace, su despliegue podría fallar y la inferencia no será posible.

Próximos pasos

Implantación de un foundation model personalizado

Tema principal: Despliegue de un foundation model personalizado