Lorsque vous exécutez un bloc-notes dans l'éditeur de bloc-notes d'un projet, vous choisissez un modèle d'environnement qui définit les ressources de calcul pour l'environnement d'exécution. Le modèle d'environnement spécifie le type, la taille et la puissance de la configuration matérielle, ainsi que la configuration logicielle. Pour les blocs-notes, les modèles d'environnement incluent un langage pris en charge de Python et R.
- Types d'environnement
- Editions d'exécution
- Modèles d'environnement d'UC
- Modèles d'environnement Spark
- Modèles d'environnement GPU
- Spécifications matérielles par défaut pour les modèles de notation avec watsonx.ai Runtime
- Fichiers de données dans les environnements de bloc-notes
- Utilisation du calcul par service
- Portée d'environnement d'exécution
- Changement d'environnement
Types d'environnement
Vous pouvez utiliser ces types d'environnements pour exécuter des ordinateurs portables :
- Environnements d'UC Anaconda pour les charges de travail standard.
- Environnements de parc pour le traitement parallèle fourni par la plateforme ou par d'autres services.
- Environnements GPU pour les modèles d'apprentissage automatique à traitement intensif.
La plupart des types d'environnement pour les blocs-notes possèdent des modèles d'environnement par défaut qui vous permettent de démarrer rapidement. Sinon, vous pouvez créer des modèles d'environnement personnalisés.
| Type d'environnement | Modèles par défaut | Modèles par défaut |
|---|---|---|
| UC Anaconda | ✓ | ✓ |
| Clusters Spark | ✓ | ✓ |
| Processeur graphique (GPU) | ✓ | ✓ |
Editions d'exécution
Les environnements par défaut pour les blocs-notes sont ajoutés en tant qu'affiliés à une édition d'exécution et préfixés avec Runtime suivi de l'année d'édition et de la version d'édition.
Une édition d'exécution spécifie une liste de bibliothèques de science des données clés et une version de langage, par exemple Python 3.10. Tous les environnements d'une édition d'exécution sont basés sur les versions de bibliothèque définies dans la version, assurant ainsi l'utilisation cohérente des bibliothèques de données de données dans toutes les applications de science des données.
Il existe une version 24.1 Runtime pour différentes versions de Python et de R.
IBM Runtime 23.1 est limité. À partir du 21 novembre 2024, vous ne pourrez plus créer de nouveaux carnets ou environnements personnalisés en utilisant les runtimes 23.1 Vous ne pouvez pas non plus créer de nouveaux déploiements avec des spécifications logicielles basées sur le runtime 23.1 Pour garantir une expérience transparente et tirer parti des dernières fonctionnalités et améliorations, passez à IBM Runtime 24.1 Cette modification s'applique à watsonx.ai Studio sur IBM watsonx et IBM watsonx as a Service.
Alors qu'une édition d'exécution est prise en charge, IBM met à jour les versions de la bibliothèque pour répondre aux exigences de sécurité. Notez que ces mises à jour ne modifient pas les versions <Major>.<Minor> des bibliothèques, mais uniquement les versions <Patch> . Cela garantit que vos actifs de bloc-notes continueront à s'exécuter.
Packages de bibliothèque inclus dans les environnements d'exécution
Pour connaître les versions spécifiques des bibliothèques de science des données populaires incluses dans les temps d'exécution de watsonx.ai Studio, reportez-vous à ces tableaux :
| Bibliothèque | Durée 24.1 sur Python 3.11 |
|---|---|
| Keras | 2.14.0 |
| Lale | 0.8.x |
| LightGBM | 4.2.0 |
| NumPy | 1.26.4 |
| ONNX | 1.16 |
| Environnement d'exécution ONNX | 1.16.3 |
| OpenCV | 4.8.1 |
| pandas | 2.1.4 |
| PyArrow | 15.0.1 |
| PyTorch | 2.1.2 |
| scikit-learn | 1.3.0 |
| SciPy | 1.11.4 |
| SnapML | 1.14.6 |
| TensorFlow | 2.14.1 |
| XGBoost | 2.0.3 |
| Bibliothèque | Durée 24.1 sur R 4.3 |
|---|---|
| flèche | 15.0 |
| voiture | 3.1 |
| caret | 6.0 |
| catools | 1.18 |
| prévision | 8.21 |
| ggplot2 | 3.4 |
| Glmnet | 4.1 |
| hmisc | 5.1 |
| Keras | 2.13 |
| lme4 | 1.1 |
| mvtnorm | 1.2 |
| pandoc | 2.12 |
| psych | 2.3 |
| python | 3.11 |
| forêt aléatoire | 4.7 |
| réticulé | 1.34 |
| sandwich | 3.0 |
| scikit-learn | 1.3 |
| spatiales | 7.3 |
| TensorFlow | 2.15 |
| tidyr | 1.3 |
| XGBoost | 1.7 |
Outre les bibliothèques répertoriées dans les tableaux, les environnements d'exécution incluent de nombreuses autres bibliothèques utiles. Pour afficher la liste complète, sélectionnez l'onglet Gérer dans votre projet, puis cliquez sur Modèles, sélectionnez l'onglet Environnements , puis cliquez sur l'un des environnements répertoriés.
Modèles d'environnement d'UC
Vous pouvez sélectionner l'un des modèles d'environnement d'UC par défaut suivants pour les ordinateurs portables. Les modèles d'environnement par défaut sont répertoriés sous Modèles sur la page Environnements de l'onglet Gérer de votre projet.
DO Indique que les modèles d'environnement incluent les bibliothèques CPLEX et DOcplex pour modéliser et résoudre les problèmes d'optimisation des décisions qui dépassent la complexité prise en charge par l'édition communautaire des bibliothèques dans les autres environnements Python par défaut. Voir Bloc-notes Decision Optimization.
NLP Indique que les modèles d'environnement incluent la bibliothèque Watson Natural Language Processing avec des modèles prédéfinis pour les tâches de traitement des langues que vous pouvez exécuter sur des données non structurées. Voir Utilisation de la bibliothèque Watson Natural Language Processing. Cet environnement par défaut doit être suffisamment grand pour exécuter les modèles préformés.
| Nom | Configuration matériel | Taux CUH par heure |
|---|---|---|
| Durée 24.1 sur Python 3.10 XXS | 1 vCPU et 4 Go RAM | 0.5 |
| Durée 24.1 sur Python 3.10 XS | 2 vCPU et 8 Go RAM | 1 |
| Durée 24.1 sur Python 3.10 S | 4 vCPU et 16 Go de mémoire RAM | 2 |
| PNL + DO Runtime 24.1 sur Python 3.11 XS | 2 vCPU et 8 Go RAM | 6 |
| Durée 24.1 sur R 4.3 S | 4 vCPU et 16 Go de mémoire RAM | 2 |
Arrêtez tous les environnements d'exécution d'UC actifs lorsque vous n'en avez plus besoin, afin d'éviter de consommer des heures d'unité de capacité supplémentaires (CUH). Voir Délai d'inactivité de l'UC.
Blocs-notes et environnements CPU
Lorsque vous ouvrez un bloc-notes en mode édition dans un environnement d'exécution CPU, une session interactive se connecte à un noyau Jupyter pour le langage de bloc-notes et l'environnement d'exécution que vous sélectionnez. L'environnement d'exécution est démarré par utilisateur unique et non par bloc-notes. Cela signifie que si vous ouvrez un second bloc-notes avec le même modèle d'environnement dans le même projet, un second noyau est démarré dans le même environnement d'exécution. Les ressources du runtime sont partagées par les noyaux Jupyter que vous démarrez dans le runtime. Pour plus d'informations, voir Portée de l'exécution.
Si nécessaire, vous pouvez redémarrer le noyau ou rétablir la connexion au noyau. Lorsque vous redémarrez un noyau, il s'arrête, puis redémarre dans la même session, mais tous les résultats d'exécution sont perdus. Lorsque vous rétablissez une connexion à un noyau, le bloc-notes est connecté à la même session de noyau et tous les résultats d'exécution précédents qui avaient été sauvegardés sont disponibles.
Modèles d'environnement Spark
Vous pouvez sélectionner l'un des modèles d'environnement Spark par défaut suivants pour les blocs-notes. Les modèles d'environnement par défaut sont répertoriés sous Modèles sur la page Environnements de l'onglet Gérer de votre projet.
| Nom | Configuration matériel | Taux CUH par heure |
|---|---|---|
Default Spark 3.4 & Python 3.10 |
2 Exécuteurs chacun : 1 vCPU et 4 Go de RAM ; Driver : 1 vCPU et 4 Go de RAM |
1 |
Default Spark 3.4 & R 4.2 |
2 Exécuteurs chacun : 1 vCPU et 4 Go de RAM ; Driver : 1 vCPU et 4 Go de RAM |
1 |
Arrêtez tous les environnements d'exécution Spark actifs lorsque vous n'en avez plus besoin, afin d'éviter de consommer des heures d'unité de capacité supplémentaires (CUH). Voir Délai d'inactivité de Spark.
Grands environnements de Spark
Si vous disposez du plan watsonx.ai Studio Professional, vous pouvez créer des modèles d'environnement personnalisés pour des environnements Spark plus importants.
Les utilisateurs de plans professionnels peuvent avoir jusqu'à 35 exécuteurs et peuvent choisir parmi les options suivantes pour le pilote et l'exécuteur:
| Configuration matériel |
|---|
| 1 vCPU et 4 Go RAM |
| 2 vCPU et 8 Go RAM |
| 3 vCPU et 12 Go de RAM |
Le taux de CUH par heure augmente de 0,5 pour chaque unité centrale ajoutée. Par exemple, 1x Driver: 3vCPU with 12GB of RAM et 4x Executors: 2vCPU with 8GB of RAM sont (3 + (4 * 2)) = 11 vCPUs et 5.5 CUH.
Blocs-notes et environnements Spark
Vous pouvez sélectionner le même modèle d'environnement Spark pour plus d'un bloc-notes. Chaque bloc-notes associé à l'environnement possède son propre cluster Spark dédié et aucune ressource n'est partagée.
Lorsque vous démarrez un environnement Spark,
des ressources supplémentaires sont nécessaires pour Jupyter Enterprise Gateway, Spark Master et les démons worker Spark. Ces ressources supplémentaires représentent au total 1 vCPU et 2 Go de RAM pour le pilote et 1 Go de RAM pour chaque exécuteur. Vous devez
les prendre en compte au moment de choisir la taille du matériel d'un environnement Spark. Par exemple : si vous créez un bloc-notes et que vous sélectionnez Default Spark 3.4 & Python 3.10, le cluster Spark consomme 3 vCPU et 12 Go de RAM mais, comme 1 vCPU et 4 Go de RAM sont requis pour les ressources supplémentaires, les ressources restantes pour le bloc-notes sont 2 vCPU et 8 Go de RAM.
Système de fichiers sur un cluster Spark
Si vous souhaitez partager des fichiers entre des exécuteurs et le pilote ou le noyau d'un cluster Spark, vous pouvez utiliser le système de fichiers partagé à l'adresse /home/spark/shared.
Si vous souhaitez utiliser vos propres bibliothèques personnalisées, vous pouvez les stocker sous /home/spark/shared/user-libs/. Il existe quatre sous-répertoires sous /home/spark/shared/user-libs/ qui sont préconfigurés pour être mis à disposition des environnements d'exécution Python et R ou Java.
Les tableaux suivants répertorient les sous-répertoires préconfigurés dans lesquels vous pouvez ajouter vos bibliothèques personnalisées :
| Répertoire | Type de bibliothèque |
|---|---|
/home/spark/shared/user-libs/python3/ |
Bibliothèques Python 3 |
/home/spark/shared/user-libs/R/ |
Packages R |
/home/spark/shared/user-libs/spark2/ |
Fichiers JAR Java |
Pour partager des bibliothèques entre un pilote et des programmes d'exécution Spark :
- Téléchargez vos bibliothèques personnalisées ou fichiers JAR dans le répertoire préconfiguré approprié.
- Redémarrez le noyau dans le menu du bloc-notes en cliquant sur Noyau > Redémarrer le noyau. Cette action charge vos bibliothèques personnalisées ou fichiers JAR dans Spark.
Notez que ces bibliothèques ne sont pas conservées. Lorsque vous arrêtez l'environnement d'exécution et que vous le redémarrez ultérieurement, vous devez recharger les bibliothèques.
Modèles d'environnement GPU
Vous pouvez sélectionner le modèle d'environnement GPU suivant pour les blocs-notes. Les modèles d'environnement sont répertoriés sous Modèles sur la page Environnements de l'onglet Gérer de votre projet.
Les noms de modèle d'environnement GPU indiquent l'alimentation de l'accélérateur. Les modèles d'environnement GPU incluent la bibliothèque Watson Natural Language Processing avec des modèles pré-entraînés pour les tâches de traitement de langage que vous pouvez exécuter sur des données non structurées. Voir Utilisation de la bibliothèque Watson Natural Language Processing.
~ Indique que le modèle d'environnement nécessite le plan watsonx.ai Studio Professional. Voir Plans d'offres.
| Nom | Configuration matériel | Taux CUH par heure |
|---|---|---|
| GPU V100 Durée 24.1 sur Python 3.11 ~ | 40 vCPU + 172 Go de RAM + 1 NVIDIA TESLA V100 (1 GPU) | 68 |
| GPU 2xV100 Durée 24.1 sur Python 3.11 ~ | 80 vCPU et 344 Go de RAM + 2 NVIDIA TESLA V100 (2 GPU) | 136 |
Arrêtez tous les environnements d'exécution GPU actifs lorsque vous n'en avez plus besoin, afin d'éviter de consommer des heures d'unité de capacité supplémentaires (CUH). Voir Délai d'inactivité de GPU.
Blocs-notes et environnements GPU
Les environnements GPU pour les blocs-notes sont disponibles uniquement dans la région de service IBM Cloud de Dallas.
Vous pouvez sélectionner le même modèle d'environnement Python et GPU pour plusieurs blocs-notes dans un projet. Dans ce cas, chaque noyau de bloc-notes s'exécute dans la même instance d'exécution et les ressources sont partagées. Pour éviter le partage de ressources d'exécution, créez plusieurs modèles d'environnement personnalisés avec les mêmes spécifications et associez chaque bloc-notes à son propre modèle.
Spécifications matérielles par défaut pour les modèles de notation avec watsonx.ai Runtime
Lorsque vous invoquez l'API watsonx.ai Runtime dans un notebook, vous consommez les ressources de calcul du service watsonx.ai Runtime ainsi que les ressources de calcul du noyau du notebook.
Vous pouvez sélectionner l'une des spécifications matérielles suivantes lorsque vous vous connectez à watsonx.ai Runtime et créez un déploiement.
| Taille de la capacité | Configuration matériel | Taux CUH par heure |
|---|---|---|
| Très petite | 1x4 = 1 vCPU et 4 Go de RAM | 0.5 |
| Petit | 2x8 = 2 vCPU et 8 Go de RAM | 1 |
| Moyen | 4x16 = 4 vCPU et 16 Go de RAM | 2 |
| Grand | 8x32 = 8 vCPU et 32 Go de RAM | 4 |
Fichiers de données dans les environnements de bloc-notes
Si vous utilisez des jeux de données volumineux, scindez-les en blocs plus petits dans l'IBM Cloud Object Storage associé à votre projet et traitez-les par blocs dans le bloc-notes. Vous pouvez également exécuter ce dernier dans un environnement Spark.
Gardez à l'esprit que le système de fichiers de chaque environnement d'exécution n'est pas persistant et ne peut pas être partagé entre plusieurs environnements. Pour faire persister les fichiers dans watsonx.ai Studio, vous devez utiliser IBM Cloud Object Storage Le moyen le plus simple d'utiliser IBM Cloud Object Storage dans les blocs-notes dans les projets est de tirer parti de Module project-lib pour Python ou de Module project-lib pour R.
Utilisation du calcul par service
Les runtimes du notebook consomment des ressources de calcul sous forme de CUH à partir de watsonx.ai Studio, tout en exécutant des environnements par défaut ou personnalisés. Vous pouvez surveiller la consommation de CUH de watsonx.ai Studio dans le projet sur la page Utilisation des ressources dans l'onglet Gérer du projet.
Les ordinateurs portables peuvent également consommer des CUH à partir du service watsonx.ai Runtime lorsque l'ordinateur portable invoque le service watsonx.ai Runtime pour évaluer un modèle. Vous pouvez surveiller la quantité mensuelle totale de consommation de CUH pour le service d'exécution watsonx.ai sur la page Utilisation des ressources dans l'onglet Gérer du projet.
Suivre la consommation de CUH pour le Runtime watsonx.ai dans un notebook
Pour calculer les CUH consommées par un bloc-notes, exécutez le code suivant dans le bloc-notes :
CP = client.service_instance.get_details()
CUH = CUH["entity"]["usage"]["capacity_units"]["current"]/(3600*1000)
print(CUH)
Par exemple :
'capacity_units': {'current': 19773430}
19773430/(3600*1000)
renvoie 5,49 CUH
Pour plus de détails, voir la section Service Instances de la documentation IBM watsonx.ai Runtime API.
Portée d'environnement d'exécution
Les environnements d'exécution d'environnement sont toujours sectorisés à un modèle d'environnement et à un utilisateur dans un projet. Si plusieurs utilisateurs travaillent avec le même environnement dans un projet, chacun d'eux disposera de son propre environnement d'exécution.
Si l'exécution d'une version d'un bloc-notes s'effectue de manière planifiée, chaque travail planifié démarre toujours dans un environnement d'exécution dédié. L'exécution s'arrête lorsque le travail se termine.
Changer l'environnement d'un bloc-notes
Vous pouvez changer d'environnement pour différentes raisons, par exemple vous pouvez :
- Sélectionner un environnement avec plus de puissance de traitement ou plus de RAM
- Remplacer un environnement sans Spark par un environnement Spark
Vous ne pouvez modifier l'environnement d'un bloc-notes que si le bloc-notes est déverrouillé. Vous pouvez modifier l'environnement :
A partir du bloc-notes ouvert en mode édition :
- Sauvegardez vos modifications de bloc-notes.
- Cliquez sur l'icône "
de la barre d'outils du carnet de notes, puis cliquez sur Environnement. - Sélectionnez un autre modèle avec la puissance de calcul et la capacité de mémoire dans la liste.
- Sélectionnez Modifier l'environnement. Cela arrête l'environnement d'exécution actif et démarre l'environnement nouvellement sélectionné.
A partir de la page Actifs de votre projet :
- Sélectionnez le bloc-notes dans la section Carnets de notes, cliquez sur Actions > Modifier l'environnement et sélectionnez un autre environnement. Le noyau doit être arrêté pour que vous puissiez changer l'environnement. Ce nouvel environnement d'exécution sera instancié lors de la prochaine ouverture du bloc-notes à des fins d'édition.
Dans le travail du bloc-notes, en éditant le modèle de travail. Voir Édition des paramètres de travail.
Etapes suivantes
En savoir plus
Rubrique parent: Ressources de calcul pour les outils