Options de ressource de calcul pour Data Refinery dans les projets
Lorsque vous créez ou éditez un flux de raffinerie de données dans un projet, vous utilisez l'environnement d'exécution Default Data Refinery XS. Toutefois, lorsque vous exécutez un flux de raffinerie de données dans un travail, vous choisissez un modèle d'environnement pour l'environnement d'exécution. Le modèle d'environnement indique le type, la taille et la puissance de la configuration matérielle, ainsi que le modèle de logiciel.
- Types d'environnement
- Modèles d'environnement par défaut
- Calculer l'utilisation
- Changement de l'environnement d'exécution
- Journaux d'exécution pour des travaux
Types d'environnement
Vous pouvez utiliser les types d'environnement suivants avec Data Refinery :
- Environnement d'exécution
Default Data Refinery XSpour l'exécution de travaux sur des ensembles de données de petite taille. - Environnements Spark pour l'exécution de travaux sur de plus gros jeux de données. Les environnements Spark ont Modèles d'environnement par défaut pour que vous puissiez démarrer rapidement. Sinon, vous pouvez Créer des modèles d'environnement personnalisés pour les environnements Spark. Vous ne devez utiliser un environnement Spark & R que si vous travaillez sur un ensemble de données volumineux. Si votre fichier est petit, vous devez sélectionner l'environnement d'exécution
Default Data Refinery XS. En effet, bien que le cluster SparkR dans un environnement Spark & R soit rapide et puissant, sa création prend du temps, ce qui est notable lorsque vous exécutez un travail Data Refinery sur un petit jeu de données.
Modèles d'environnement par défaut
Lorsque vous travaillez dans Data Refinery, l'environnement d'exécution Default Data Refinery XS est démarré et apparaît en tant qu'environnement d'exécution actif sous Environnements d'exécution de l'outil sur la page Environnements de l'onglet Gérer de votre projet. L'environnement d'exécution s'arrête au bout d'une heure d'inactivité dans l'interface Data Refinery. Toutefois, vous pouvez l'arrêter manuellement sous Environnements d'exécution de l'outil sur la page Environnements .
Lorsque vous créez un travail pour exécuter un flux de raffinerie de données dans un projet, vous sélectionnez un modèle d'environnement. Une fois qu'un environnement d'exécution d'un travail est démarré, il est répertorié en tant qu'environnement d'exécution actif sous Environnements d'exécution de l'outil sur la page Environnements de l'onglet Gérer de votre projet. L'environnement d'exécution d'un travail s'arrête lorsque l'exécution du travail Data Refinery s'arrête.
L'utilisation du calcul est mesurée et suivie en unités de capacité-heures (CUH, Capacity Units-Hours).
| Nom | Configuration matériel | Unités de capacité par heure (CUH) |
|---|---|---|
| Environnement Default Data Refinery XS | 3 vCPU et 12 Go de RAM | 1.5 |
| Par Défaut Spark 3.4 & R 4.2 | 2 Exécuteurs chacun : 1 vCPU et 4 Go de RAM ; Driver : 1 vCPU et 4 Go de RAM |
1.5 |
| Default Spark 3.3 & R 4.2 Obsolète |
2 Exécuteurs chacun : 1 vCPU et 4 Go de RAM ; Driver : 1 vCPU et 4 Go de RAM |
1.5 |
Tous les modèles d'environnement par défaut pour la raffinerie de données sont prêts HIPAA.
Les modèles d'environnement par défaut Spark sont répertoriés sous Modèles sur la page Environnements de l'onglet Gérer de votre projet.
Utilisation du calcul dans les projets
Vous pouvez surveiller la consommation CUH de Watson Studio sur la page Utilisation des ressources de l'onglet Gérer de votre projet.
Changement de l'environnement d'exécution
Vous ne pouvez pas modifier l'environnement d'exécution pour travailler dans Data Refinery.
Vous pouvez modifier l'environnement d'exécution d'un travail de flux de raffinerie de données en modifiant le modèle de travail. Voir Création de travaux dans Data Refinery.
Journaux d'exécution pour des travaux
Pour afficher les journaux cumulés pour un travail Data Refinery :
- Dans la page Travaux du projet, cliquez sur le travail qui a exécuté le flux de raffinerie de données pour lequel vous souhaitez afficher les journaux.
- Cliquez sur l'exécution du travail. Vous pouvez afficher la queue de journal ou télécharger la totalité du fichier journal.
Etapes suivantes
En savoir plus
Rubrique parent : Choix des ressources de calcul pour les outils