Normaliser les déploiements de services d'IA à l'aide de modèles

Les modèles de services d'IA sont des composants préconstruits, réutilisables et personnalisables qui offrent une approche structurée du déploiement et de la gestion des applications d'IA générative. Ils offrent un moyen normalisé de conditionner, de déployer et d'intégrer des modèles d'IA à d'autres applications et systèmes, ce qui permet aux développeurs de se concentrer sur la construction et l'entraînement de modèles sans se soucier de l'infrastructure sous-jacente et de la logistique de déploiement. En fournissant une structure, une configuration et un ensemble d'outils prédéfinis, les modèles de services d'IA simplifient le processus de déploiement des services d'IA, réduisent le risque d'erreurs et améliorent l'efficacité et la cohérence globales du développement et du déploiement de l'IA.

Composants des modèles de services d'IA

Les éléments d'un modèle de service d'IA sont les suivants :

1. Répertoire source : Le répertoire source contient le code utilisé par les fonctions déployées (à partir du fichier ai_service.py ). Lors du déploiement, le répertoire source est empaqueté et envoyé au nuage en tant qu'extension du paquet.

2. Logique d'application de base : La logique de base de l'application est contenue dans le fichier ai_service.py. Ce fichier comprend les fonctions à déployer, y compris la logique de base de l'application, la définition du schéma d'entrée et le code d'authentification.

3. Fichier de configuration : Le fichier config.toml contient les métadonnées de déploiement et les paramètres de configuration du modèle.

4. Tests : Le site tests/ contient les tests unitaires du modèle, y compris les tests des outils et des fonctions utilitaires.

5. Scripts de déploiement : Le site scripts/deploy.py déploie le modèle sur IBM Cloud. Le site examples/execute_ai_service_locally.py peut être utilisé pour exécuter le service AI localement. Le site examples/query_existing_deployment.py peut être utilisé pour déduire un déploiement existant.

6. Configuration du projet : Le fichier pyproject.toml gère les dépendances et les paquets du projet.

Déployer des services d'IA avec des modèles

Procédez comme suit pour déployer des services d'intelligence artificielle à l'aide de modèles :

1. Préparer le modèle : Pour préparer le modèle, vous devez cloner le référentiel de modèles, installer les dépendances et les outils nécessaires, tels que Pipx ou Poetry, configurer l'environnement sur votre système local et activer l'environnement virtuel. Cela permet de s'assurer que le modèle est correctement configuré et prêt à être déployé.

2. Configurez le modèle : Configurez le modèle en remplissant le fichier config.toml avec les informations d'identification et les paramètres de configuration nécessaires. Il s'agit notamment de personnaliser le modèle avec la logique d'application selon les besoins pour répondre aux exigences spécifiques du service d'IA. Le fichier de configuration stocke les métadonnées de déploiement et les paramètres de configuration du modèle, et est utilisé pour ajuster le modèle pour les exécutions locales.

   Vous pouvez également fournir des données clé-valeur supplémentaires à l'application en utilisant Parameter sets ou l'objet CUSTOM dans le fichier config.toml. Pour en savoir plus sur le stockage et la gestion des jeux de paramètres, voir Jeux de paramètres dans la documentation de la bibliothèque client Python de watsonx.ai

   Pour gérer les informations d'identification externes, vous pouvez utiliser IBM Secrets Manager Secrets Manager est un service qui vous permet de stocker et de gérer en toute sécurité des informations sensibles, telles que les clés API et les mots de passe. En utilisant Secrets Manager, vous pouvez garder vos informations d'identification en dehors de votre code et de vos fichiers de configuration, ce qui contribue à améliorer la sécurité de votre application. Pour plus d'informations, consultez la documentation de l'API IBM Cloud Secrets Manager.

3. Tester le modèle : Avant de déployer le modèle, il est essentiel de le tester pour s'assurer qu'il fonctionne correctement. Il s'agit d'exécuter des tests unitaires pour vérifier que le modèle fonctionne comme prévu, en testant l'application localement en exécutant le script examples/execute_ai_service_locally.py. Vous pouvez exécuter ce script pour lancer le service d'IA localement et le tester avec des exemples d'entrées.

4. Déployer le modèle : Une fois le modèle testé et validé, il peut être déployé à l'aide du script scripts/deploy.py. Ce script automatise le processus de déploiement et crée une extension du paquet. Vous pouvez utiliser le Secrets Manager pour gérer les informations d'identification externes pendant le déploiement. Pour ce faire, créez un secret contenant les informations d'identification que vous souhaitez utiliser. Une fois que vous avez créé votre secret, vous pouvez y faire référence lors du déploiement. Cela permettra de déployer votre application avec les informations d'identification du secret. Le processus de déploiement peut prendre quelques minutes, après quoi vous recevrez un identifiant de déploiement.

5. Inférer le modèle : Vous pouvez déduire le service d'IA déployé à l'aide du script examples/query_existing_deployment.py. Utilisez ce script pour tester le service d'IA avec des exemples d'entrées et vérifiez les résultats. Vous pouvez également utiliser l'interface utilisateur pour inférer le déploiement et interagir avec le service d'IA. Pour fournir des données clé-valeur supplémentaires à l'application pendant l'inférence, vous pouvez utiliser Parameter sets ou l'objet CUSTOM dans le fichier config.toml. Ces paires clé-valeur seront transmises à votre application lors du déploiement et seront accessibles lors de l'inférence.

Exemple de modèle

Pour savoir comment déployer des services d'intelligence artificielle à l'aide de modèles, consultez l'exemple de modèle suivant :

Sujet parent : Déployer des services d'IA