0 / 0
Retourner à la version anglaise de la documentation
Options de ressource de calcul pour l'éditeur de bloc-notes dans les projets

Options de ressource de calcul pour l'éditeur de bloc-notes dans les projets

Lorsque vous exécutez un bloc-notes dans l'éditeur de bloc-notes d'un projet, vous choisissez un modèle d'environnement qui définit les ressources de calcul pour l'environnement d'exécution. Le modèle d'environnement spécifie le type, la taille et la puissance de la configuration matérielle, ainsi que la configuration logicielle. Pour les blocs-notes, les modèles d'environnement incluent un langage pris en charge de Python et R.

Types d'environnement

Vous pouvez utiliser ces types d'environnement pour exécuter un bloc-notes :

La plupart des types d'environnement pour les blocs-notes possèdent des modèles d'environnement par défaut qui vous permettent de démarrer rapidement. Sinon, vous pouvez créer des modèles d'environnement personnalisés.

Types d'environnement pour les blocs-notes
Type d'environnement Modèles par défaut Modèles par défaut
UC Anaconda ✓ ✓
Clusters Spark ✓ ✓
Processeur graphique (GPU) ✓ ✓

Editions d'exécution

Les environnements par défaut pour les blocs-notes sont ajoutés en tant qu'affiliés à une édition d'exécution et préfixés avec Runtime suivi de l'année d'édition et de la version d'édition.

Une édition d'exécution spécifie une liste de bibliothèques de science des données clés et une version de langage, par exemple Python 3.10. Tous les environnements d'une édition d'exécution sont basés sur les versions de bibliothèque définies dans la version, assurant ainsi l'utilisation cohérente des bibliothèques de données de données dans toutes les applications de science des données.

L'édition Runtime 23.1 est disponible pour Python 3.10 et R 4.2.

Alors qu'une édition d'exécution est prise en charge, IBM met à jour les versions de la bibliothèque pour répondre aux exigences de sécurité. Notez que ces mises à jour ne modifient pas les versions <Major>.<Minor> des bibliothèques, mais uniquement les versions <Patch> . Cela garantit que vos actifs de bloc-notes continueront à s'exécuter.

Packages de bibliothèque inclus dans les environnements d'exécution

Pour les versions spécifiques des packages de bibliothèques de sciences des données populaires inclus dans les environnements d'exécution Watson Studio , consultez les tableaux suivants:

Tableau 3. Packages et leurs versions dans Runtime 23.1 for Python
Bibliothèque Runtime 23.1 sur Python 3.10
Keras 2.12
Lale 0.7
LightGBM 3.3
NumPy 1.23
ONNX 1.13
Environnement d'exécution ONNX 1.13
OpenCV 4.7
pandas 1.5
PyArrow 11.0
PyTorch 2.0
scikit-learn 1.1
SciPy 1.10
SnapML 1.13
TensorFlow 2.12
XGBoost 1.6
Tableau 4. Packages et leurs versions dans Runtime 23.1 for R
Bibliothèque Environnement d'exécution 23.1 sur R 4.2
flèche 11.0
voiture 3.0
caret 6.0
catools 1.18
prévision 8.16
ggplot2 3.3
Glmnet 4.1
hmisc 4.7
Keras 2.12
lme4 1.1
mvtnorm 1.1
pandoc 2.12
psych 2.2
python 3.10
forêt aléatoire 4.7
réticulé 1.25
sandwich 3.0
scikit-learn 1.1
spatiales 7.3
TensorFlow 2.12
tidyr 1.2
XGBoost 1.6

Outre les bibliothèques répertoriées dans les tableaux, les environnements d'exécution incluent de nombreuses autres bibliothèques utiles. Pour afficher la liste complète, sélectionnez l'onglet Gérer dans votre projet, puis cliquez sur Modèles, sélectionnez l'onglet Environnements , puis cliquez sur l'un des environnements répertoriés.

Modèles d'environnement d'UC

Vous pouvez sélectionner l'un des modèles d'environnement d'UC par défaut suivants pour les ordinateurs portables. Les modèles d'environnement par défaut sont répertoriés sous Modèles sur la page Environnements de l'onglet Gérer de votre projet.

DO Indique que les modèles d'environnement incluent les bibliothèques CPLEX et DOcplex pour modéliser et résoudre les problèmes d'optimisation des décisions qui dépassent la complexité prise en charge par l'édition communautaire des bibliothèques dans les autres environnements Python par défaut. Voir Bloc-notes Decision Optimization.

NLP Indique que les modèles d'environnement incluent la bibliothèque Watson Natural Language Processing avec des modèles prédéfinis pour les tâches de traitement des langues que vous pouvez exécuter sur des données non structurées. Voir Utilisation de la bibliothèque Watson Natural Language Processing. Cet environnement par défaut doit être suffisamment grand pour exécuter les modèles préformés.

Modèles d'environnement d'UC par défaut pour les blocs-notes
Nom Configuration matérielle Taux CUH par heure
Runtime 23.1 sur Python 3.10 XXS 1 UC virtuelle et 4 Go RAM 0.5
Runtime 23.1 sur Python 3.10 XS 2 UC virtuelles et 8 Go RAM 1
Runtime 23.1 sur Python 3.10 S 4 vCPU et 16 Go de mémoire RAM 2
NLP + DO Runtime 23.1 sur Python 3.10 XS 2 UC virtuelles et 8 Go RAM 6
Runtime 23.1 sur R 4.2 S 4 vCPU et 16 Go de mémoire RAM 2

Arrêtez tous les environnements d'exécution d'UC actifs lorsque vous n'en avez plus besoin, afin d'éviter de consommer des heures d'unité de capacité supplémentaires (CUH). Voir Délai d'inactivité de l'UC.

Blocs-notes et environnements CPU

Lorsque vous ouvrez un bloc-notes en mode édition dans un environnement d'exécution CPU, une session interactive se connecte à un noyau Jupyter pour le langage de bloc-notes et l'environnement d'exécution que vous sélectionnez. L'environnement d'exécution est démarré par utilisateur unique et non par bloc-notes. Cela signifie que si vous ouvrez un second bloc-notes avec le même modèle d'environnement dans le même projet, un second noyau est démarré dans le même environnement d'exécution. Les ressources d'exécution sont partagées par les noyaux Jupyter que vous démarrez dans l'environnement d'exécution. Les ressources d'exécution sont également partagées si l'unité centrale dispose de GPU.

Si vous souhaitez éviter de partager des environnements d'exécution mais que vous souhaitez utiliser le même modèle d'environnement pour plusieurs blocs-notes dans un projet, vous devez créer des modèles d'environnement personnalisés avec les mêmes spécifications et associer chaque bloc-notes à son propre modèle.

Si nécessaire, vous pouvez redémarrer le noyau ou rétablir la connexion au noyau. Lorsque vous redémarrez un noyau, il s'arrête, puis redémarre dans la même session, mais tous les résultats d'exécution sont perdus. Lorsque vous rétablissez une connexion à un noyau, le bloc-notes est connecté à la même session de noyau et tous les résultats d'exécution précédents qui avaient été sauvegardés sont disponibles.

Modèles d'environnement Spark

Vous pouvez sélectionner l'un des modèles d'environnement Spark par défaut suivants pour les blocs-notes. Les modèles d'environnement par défaut sont répertoriés sous Modèles sur la page Environnements de l'onglet Gérer de votre projet.

Modèles d'environnement Spark par défaut pour les blocs-notes
Nom Configuration matérielle Taux CUH par heure
Default Spark 3.3 & R 4.2 2 Exécuteurs chacun : 1 vCPU et 4 Go de RAM ;
Driver : 1 vCPU et 4 Go de RAM		 1
Default Spark 3.4 & R 4.2 2 Exécuteurs chacun : 1 vCPU et 4 Go de RAM ;
Driver : 1 vCPU et 4 Go de RAM		 1

Arrêtez tous les environnements d'exécution Spark actifs lorsque vous n'en avez plus besoin, afin d'éviter de consommer des heures d'unité de capacité supplémentaires (CUH). Voir Délai d'inactivité de Spark.

Grands environnements de Spark

Si vous disposez du plan Watson Studio Professional, vous pouvez créer des modèles d'environnement personnalisés pour des environnements Spark plus grands.

Les utilisateurs de plans professionnels peuvent avoir jusqu'à 35 exécuteurs et peuvent choisir parmi les options suivantes pour le pilote et l'exécuteur:

Configurations matérielles pour les environnements Spark
Configuration matérielle
1 UC virtuelle et 4 Go RAM
2 UC virtuelles et 8 Go RAM
3 vCPU et 12 Go de RAM

Le taux de CUH par heure augmente de 0,5 pour chaque unité centrale ajoutée. Par exemple, 1x Driver: 3vCPU with 12GB of RAM et 4x Executors: 2vCPU with 8GB of RAM sont (3 + (4 * 2)) = 11 vCPUs et 5.5 CUH.

Blocs-notes et environnements Spark

Vous pouvez sélectionner le même modèle d'environnement Spark pour plus d'un bloc-notes. Chaque bloc-notes associé à l'environnement possède son propre cluster Spark dédié et aucune ressource n'est partagée.

Lorsque vous démarrez un environnement Spark, des ressources supplémentaires sont nécessaires pour Jupyter Enterprise Gateway, Spark Master et les démons worker Spark. Ces ressources supplémentaires représentent au total 1 UC virtuelle et 2 Go RAM pour le pilote et 1 Go RAM pour chaque programme d'exécution. Vous devez les prendre en compte au moment de choisir la taille du matériel d'un environnement Spark. Par exemple : si vous créez un bloc-notes et que vous sélectionnez Default Spark 3.3 & Python 3.10, le cluster Spark consomme 3 vCPU et 12 Go de RAM mais, comme 1 vCPU et 4 Go de RAM sont requis pour les ressources supplémentaires, les ressources restantes pour le bloc-notes sont 2 vCPU et 8 Go de RAM.

Système de fichiers sur un cluster Spark

Si vous souhaitez partager des fichiers entre des exécuteurs et le pilote ou le noyau d'un cluster Spark, vous pouvez utiliser le système de fichiers partagé à l'adresse /home/spark/shared.

Si vous souhaitez utiliser vos propres bibliothèques personnalisées, vous pouvez les stocker sous /home/spark/shared/user-libs/. Il existe quatre sous-répertoires sous /home/spark/shared/user-libs/ qui sont préconfigurés pour être mis à disposition des environnements d'exécution Python et R ou Java.

Les tableaux suivants répertorient les sous-répertoires préconfigurés dans lesquels vous pouvez ajouter vos bibliothèques personnalisées :

Tableau 5. Sous-répertoires préconfigurés pour les bibliothèques personnalisées
Répertoire Type de bibliothèque
/home/spark/shared/user-libs/python3/ Bibliothèques Python 3
/home/spark/shared/user-libs/R/ Packages R
/home/spark/shared/user-libs/spark2/ Fichiers JAR Java

Pour partager des bibliothèques entre un pilote et des programmes d'exécution Spark :

  1. Téléchargez vos bibliothèques personnalisées ou fichiers JAR dans le répertoire préconfiguré approprié.
  2. Redémarrez le noyau dans le menu du bloc-notes en cliquant sur Noyau > Redémarrer le noyau. Cette action charge vos bibliothèques personnalisées ou fichiers JAR dans Spark.

Notez que ces bibliothèques ne sont pas conservées. Lorsque vous arrêtez l'environnement d'exécution et que vous le redémarrez ultérieurement, vous devez recharger les bibliothèques.

Modèles d'environnement GPU

Vous pouvez sélectionner le modèle d'environnement GPU suivant pour les blocs-notes. Les modèles d'environnement sont répertoriés sous Modèles sur la page Environnements de l'onglet Gérer de votre projet.

Les noms de modèle d'environnement GPU indiquent l'alimentation de l'accélérateur. Les modèles d'environnement GPU incluent la bibliothèque Watson Natural Language Processing avec des modèles pré-entraînés pour les tâches de traitement de langage que vous pouvez exécuter sur des données non structurées. Voir Utilisation de la bibliothèque Watson Natural Language Processing.

~ Indique que le modèle d'environnement requiert le plan Watson Studio Professional. Voir Plans d'offres.

Modèles d'environnement GPU par défaut pour les blocs-notes
Nom Configuration matérielle Taux CUH par heure
GPU V100 Runtime 23.1 sur Python 3.10 ~ 40 vCPU + 172 Go de RAM + 1 NVIDIA TESLA V100 (1 GPU) 68
GPU 2xV100 Runtime 23.1 sur Python 3.10 ~ 80 vCPU et 344 Go de RAM + 2 NVIDIA TESLA V100 (2 GPU) 136

Arrêtez tous les environnements d'exécution GPU actifs lorsque vous n'en avez plus besoin, afin d'éviter de consommer des heures d'unité de capacité supplémentaires (CUH). Voir Délai d'inactivité de GPU.

Blocs-notes et environnements GPU

Les environnements GPU pour les blocs-notes sont disponibles uniquement dans la région de service IBM Cloud de Dallas.

Vous pouvez sélectionner le même modèle d'environnement Python et GPU pour plusieurs blocs-notes dans un projet. Dans ce cas, chaque noyau de bloc-notes s'exécute dans la même instance d'exécution et les ressources sont partagées. Pour éviter le partage de ressources d'exécution, créez plusieurs modèles d'environnement personnalisés avec les mêmes spécifications et associez chaque bloc-notes à son propre modèle.

Spécifications de matériel par défaut pour l'évaluation des modèles avec Watson Machine Learning

Lorsque vous appelez l'API Watson Machine Learning dans un bloc-notes, vous consommez les ressources de calcul du service Watson Machine Learning ainsi que les ressources de calcul pour le noyau du bloc-notes.

Lorsque vous vous connectez à Watson Machine Learning et créez un déploiement, vous pouvez sélectionner l'une des spécifications de matériel suivantes.

Spécifications de matériel disponibles lorsque le service Watson Machine Learning est appelé dans un bloc-notes
Taille de la capacité Configuration matérielle Taux CUH par heure
Très petite 1x4 = 1 vCPU et 4 Go de RAM 0.5
Petite 2x8 = 2 vCPU et 8 Go de RAM 1
Moyen 4x16 = 4 vCPU et 16 Go de RAM 2
Grande 8x32 = 8 vCPU et 32 Go de RAM 4

Fichiers de données dans les environnements de bloc-notes

Si vous utilisez des jeux de données volumineux, scindez-les en blocs plus petits dans l'IBM Cloud Object Storage associé à votre projet et traitez-les par blocs dans le bloc-notes. Vous pouvez également exécuter ce dernier dans un environnement Spark.

Gardez à l'esprit que le système de fichiers de chaque environnement d'exécution n'est pas persistant et ne peut pas être partagé entre plusieurs environnements. Pour conserver les fichiers dans Watson Studio, utilisez IBM Cloud Object Storage. Le moyen le plus simple d'utiliser IBM Cloud Object Storage dans les blocs-notes dans les projets est de tirer parti de Module project-lib pour Python ou de Module project-lib pour R.

Utilisation du calcul par service

Les environnements d'exécution de bloc-notes consomment des ressources de calcul en tant que CUH à partir de Watson Studio, lors de l'exécution d'environnements par défaut ou personnalisés. Vous pouvez surveiller la consommation CUH de Watson Studio dans le projet sur la page Utilisation des ressources de l'onglet Gérer du projet.

Les blocs-notes peuvent également consommer des CUH du service Watson Machine Learning lorsqu'ils appellent celui-ci pour évaluer un modèle. Vous pouvez surveiller la consommation mensuelle totale de CUH pour le service Watson Machine Learning sur la page Utilisation des ressources de l'onglet Gérer du projet.

Suivi de la consommation d'unités de capacité-heures (CUH) pour Watson Machine Learning dans un bloc-notes

Pour calculer les CUH consommées par un bloc-notes, exécutez le code suivant dans le bloc-notes :

CP =  client.service_instance.get_details()
CUH = CUH["entity"]["usage"]["capacity_units"]["current"]/(3600*1000)
print(CUH)

Par exemple :

'capacity_units': {'current': 19773430}

19773430/(3600*1000)

renvoie 5,49 CUH

Pour plus d'informations, voir la section Instances de service de la documentation API IBM Watson Machine Learning.

Portée d'environnement d'exécution

Les environnements d'exécution d'environnement sont toujours sectorisés à un modèle d'environnement et à un utilisateur dans un projet. Si plusieurs utilisateurs travaillent avec le même environnement dans un projet, chacun d'eux disposera de son propre environnement d'exécution.

Si l'exécution d'une version d'un bloc-notes s'effectue de manière planifiée, chaque travail planifié démarre toujours dans un environnement d'exécution dédié. L'exécution s'arrête lorsque le travail se termine.

Changer l'environnement d'un bloc-notes

Vous pouvez changer d'environnement pour différentes raisons, par exemple vous pouvez :

  • Sélectionner un environnement avec plus de puissance de traitement ou plus de RAM
  • Remplacer un environnement sans Spark par un environnement Spark

Vous ne pouvez modifier l'environnement d'un bloc-notes que si le bloc-notes est déverrouillé. Vous pouvez modifier l'environnement :

  • A partir du bloc-notes ouvert en mode édition :

    1. Sauvegardez vos modifications de bloc-notes.
    2. Cliquez sur l'icône d'informations de bloc-notes (Icône d'informations de bloc-notes) dans la barre d'outils de bloc-notes, puis cliquez sur Environnement.
    3. Sélectionnez un autre modèle avec la puissance de calcul et la capacité de mémoire dans la liste.
    4. Sélectionnez Modifier l'environnement. Cela arrête l'environnement d'exécution actif et démarre l'environnement nouvellement sélectionné.

  • A partir de la page Actifs de votre projet :

    1. Sélectionnez le bloc-notes dans la section Carnets de notes, cliquez sur Actions > Modifier l'environnement et sélectionnez un autre environnement. Le noyau doit être arrêté pour que vous puissiez changer l'environnement. Ce nouvel environnement d'exécution sera instancié lors de la prochaine ouverture du bloc-notes à des fins d'édition.

  • Dans le travail du bloc-notes, en éditant le modèle de travail. Voir Édition des paramètres de travail.

Etapes suivantes

En savoir plus

Rubrique parent: Ressources de calcul pour les outils

Recherche et réponse à l'IA générative
Ces réponses sont générées par un modèle de langue de grande taille dans watsonx.ai en fonction du contenu de la documentation du produit. En savoir plus