Après avoir téléchargé votre foundation model personnalisé vers le stockage d'objets dans le nuage, créez une connexion au modèle et à la ressource de modèle correspondante. Utilisez la connexion pour créer un bien modèle dans un projet ou un espace.
Pour créer une ressource de modèle, ajoutez une connexion au modèle, puis créez une ressource de modèle. Si vous souhaitez d'abord tester votre foundation model personnalisé dans un projet (par exemple en l'évaluant dans un carnet Jupyter), ajoutez votre bien de foundation model personnalisé à un projet, puis promouvez-le dans un espace.
Après avoir ajouté la ressource modèle, vous pouvez la déployer et utiliser Prompt Lab pour l'inférer.
- Si vous téléchargez votre modèle dans un espace de stockage distant, vous devez créer une connexion basée sur vos informations d'identification personnelles. Seules les connexions utilisant des informations d'identification personnelles sont autorisées pour le stockage à distance dans le nuage. Par conséquent, les autres utilisateurs du même espace de déploiement n'ont pas accès au contenu du modèle mais sont autorisés à faire de l'inférence sur les déploiements du modèle. Créez la connexion en utilisant votre clé d'accès et votre clé d'accès secrète. Pour plus d'informations sur l'activation des informations d'identification personnelles pour votre compte, voir Paramètres du compte.
Avant de commencer
Vous devez activer les informations d'identification des tâches pour pouvoir déployer un foundation model personnalisé. Pour plus d'informations, voir Adding task credentials.
Ajouter une connexion à votre modèle
Vous pouvez ajouter une connexion à votre modèle à partir d'un espace de déploiement ou d'un projet. Pour ajouter une connexion par programmation, voir Création d'une connexion à l'aide du Python ou Création d'une connexion à l'aide de l'API.
Pour utiliser l'API watsonx.ai, vous avez besoin d'un jeton de porteur. Pour plus d'informations, voir Accréditations pour l'accès aux programmes.
Ajout d'une connexion au modèle à partir de votre espace de déploiement
Pour ajouter une connexion au modèle à partir de votre espace de déploiement :
- Allez dans l'onglet Assets et cliquez sur Importer des actifs.
- Sélectionnez Data assets et suivez les étapes qui s'affichent à l'écran.
Pour Credentials, sélectionnez Access key and Secret access key. Si vous sélectionnez une autre option, votre déploiement ne fonctionnera pas.
Ajouter une connexion au modèle à partir de votre projet
Pour ajouter une connexion au modèle de votre projet :
- Allez dans l'onglet Assets et cliquez sur New asset.
- sélectionnez Connecter à une source de données et suivez les étapes qui s'affichent à l'écran.
Pour Credentials, sélectionnez Access key and Secret access key. Si vous sélectionnez une autre option, votre déploiement ne fonctionnera pas.
Pour des informations détaillées sur la manière de créer des types spécifiques de connexions, voir Connecteurs.
Création d'une ressource modèle
Pour créer une ressource de foundation model personnalisée :
Dans votre espace de déploiement ou votre projet, allez dans Assets puis cliquez sur Import assets.
Sélectionnez foundation model personnalisé.
Sélectionnez la connexion au stockage en nuage où se trouve le modèle.
Sélectionnez le dossier qui contient votre modèle.
en entrant les informations requises. Si vous ne soumettez aucune entrée pour les paramètres du modèle, les valeurs par défaut sont utilisées.
Cliquez sur Import.
Pour plus d'informations sur les paramètres de modèle disponibles, voir Paramètres globaux pour les modèles de fondation personnalisés.
Création d'une ressource de foundation model personnalisée par programme
Pour utiliser l'API watsonx.ai, vous avez besoin d'un jeton de porteur. Pour plus d'informations, voir Accréditations pour l'accès aux programmes.
Pour plus d'informations sur les paramètres de modèle disponibles, voir Paramètres globaux pour les modèles de fondation personnalisés. Si vous ne soumettez aucune entrée pour les paramètres du modèle, les valeurs par défaut sont utilisées.
Voir l'exemple de code pour l'ajout d'un bien modèle à un espace de déploiement :
curl -X POST "https://<your cloud hostname>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
"type": "custom_foundation_model_1.0",
"framework": "custom_foundation_model",
"version": "1.0",
"name": "<asset name>",
"software_spec": {
"name": "<name of software specification>"
},
"space_id": "<your space ID>",
"foundation_model": {
"model_id": "<model ID>",
"parameters": [
{
"name": "dtype",
"default": "float16",
"type": "string",
"display_name": "Data Type",
"options": ["float16","bfloat16"]
},
{
"name": "max_batch_size",
"default": 256,
"type": "number",
"display_name": "Max Batch Size"
}],
"model_location": {
"type": "connection_asset",
"connection": {
"id": "<your connection ID>"
},
"location": {
"bucket": "<bucket where the model is located>",
"file_path": "<subpath to model files, if required>"
}
}
}
}'
Voir l'exemple de code pour l'ajout d'une ressource modèle à un projet :
curl -X POST "https://<your cloud hostname>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
"type": "custom_foundation_model_1.0",
"framework": "custom_foundation_model",
"version": "1.0",
"name": "<asset name>",
"software_spec": {
"name": "<name of software specification>"
},
"project_id": "<your project ID>",
"foundation_model": {
"model_id": "<model ID>",
"parameters": [
{
"name": "dtype",
"default": "float16",
"type": "string",
"display_name": "Data Type",
"options": ["float16","bfloat16"]
},
{
"name": "max_batch_size",
"default": 256,
"type": "number",
"display_name": "Max Batch Size"
}],
"model_location": {
"type": "connection_asset",
"connection": {
"id": "<your connection ID>"
},
"location": {
"bucket": "<bucket where the model is located>",
"file_path": "<subpath to model files, if required>"
}
}
}
}'
Paramètres globaux pour les modèles de fondation personnalisés
Vous pouvez utiliser des paramètres globaux pour déployer vos modèles de fondation personnalisés. Réglez la valeur du paramètre de votre modèle de base dans la fourchette spécifiée dans le tableau suivant. Si vous ne le faites pas, votre déploiement risque d'échouer et l'inférence ne sera pas possible.
| Paramètre | Type | Plage de valeurs | Valeur par défaut | Descriptif |
|---|---|---|---|---|
dtype |
Chaîne | float16, bfloat16 |
float16 |
Ce paramètre permet de spécifier le type de données pour votre modèle. |
max_batch_size |
Nombre | max_batch_size >= 1 |
256 | Ce paramètre permet de spécifier la taille maximale du lot pour votre modèle. |
max_concurrent_requests |
Nombre | max_concurrent_requests >= 1 et max_concurrent_requests >= max_batch_size |
1 024 | Utilisez ce paramètre pour spécifier le nombre maximum de requêtes simultanées qui peuvent être faites à votre modèle. Ce paramètre n'est pas disponible pour les déploiements qui utilisent la watsonx-cfm-caikit-1.1 spécification logicielle. |
max_new_tokens |
Nombre | max_new_tokens >= 20 |
2047 | Utilisez ce paramètre pour spécifier le nombre maximum de jetons que votre modèle génère pour une requête d'inférence. |
max_sequence_length |
Nombre | max_sequence_length >= 20 et max_sequence_length > max_new_tokens |
2048 | Ce paramètre permet de spécifier la longueur maximale de la séquence pour votre modèle. |
Etapes suivantes
Déployer un foundation model personnalisé
Sujet parent : Déployer un foundation model personnalisé