Options de ressource de calcul pour Data Refinery dans les projets

Lorsque vous créez ou éditez un flux de raffinerie de données dans un projet, vous utilisez l'environnement d'exécution Default Data Refinery XS. Toutefois, lorsque vous exécutez un flux de raffinerie de données dans un travail, vous choisissez un modèle d'environnement pour l'environnement d'exécution. Le modèle d'environnement indique le type, la taille et la puissance de la configuration matérielle, ainsi que le modèle de logiciel.

Types d'environnement

Vous pouvez utiliser les types d'environnement suivants avec Data Refinery :

  • Environnement d'exécution Default Data Refinery XS pour l'exécution de travaux sur des ensembles de données de petite taille.
  • Environnements Spark pour l'exécution de travaux sur de plus gros jeux de données. Les environnements Spark ont Modèles d'environnement par défaut pour que vous puissiez démarrer rapidement. Sinon, vous pouvez Créer des modèles d'environnement personnalisés pour les environnements Spark. Vous ne devez utiliser un environnement Spark & R 3.6 que si vous travaillez sur un gros jeu de données. Si votre fichier est petit, vous devez sélectionner l'environnement d'exécution Default Data Refinery XS. En effet, bien que le cluster SparkR dans un environnement Spark & R 3.6 soit rapide et puissant, sa création prend du temps, et cela se ressent plus lorsque vous exécutez un travail Data Refinery sur un petit jeu de données.

Modèles d'environnement par défaut

Lorsque vous travaillez dans la raffinerie de données, l'environnement d'exécution de l'environnement Default Data Refinery XS est démarré et apparaît en tant qu'environnement d'exécution actif sur la page Environnements de l'onglet Gérer de votre projet. L'environnement d'exécution s'arrête au bout d'une heure d'inactivité dans l'interface Data Refinery. Toutefois, vous pouvez l'arrêter manuellement sur la page Environnements.

Lorsque vous créez un travail pour exécuter un flux de raffinerie de données dans un projet, vous sélectionnez un modèle d'environnement. Une fois qu'un environnement d'exécution a été démarré pour un travail, il est répertorié en tant qu'environnement d'exécution actif sur la page Environnements de votre projet. L'environnement d'exécution d'un travail s'arrête lorsque l'exécution du travail Data Refinery s'arrête.

L'utilisation du calcul est mesurée et suivie en unités de capacité-heures (CUH, Capacity Units-Hours).

Nom Configuration matérielle Unités de capacité par heure (CUH)
Data Refinery XS par défaut 3 vCPU et 12 Go de RAM 1.5
Default Spark 3.0 & R 3.6 2 Exécuteurs chacun : 1 vCPU et 4 Go de RAM ;
Driver : 1 vCPU et 4 Go de RAM
1.5

Tous les modèles d'environnement par défaut pour la raffinerie de données sont prêts HIPAA.

Les modèles d'environnement par défaut Spark sont répertoriés sur la page Environnements du projet.

Utilisation du calcul dans les projets

Data Refinery est fourni avec Watson Studio et Watson Knowledge Catalog. Cependant, si vous disposez des deux services, les ressources de calcul que vous utilisez pour travailler dans Data Refinery et pour l'exécution des travaux des flux Data Refinery dans les projets ne se cumulent pas. Vous utilisez les CUH du plan avec le niveau de priorité le plus élevé :

  1. Enterprise ou Professional
  2. Standard
  3. Lite

Par exemple, si vous disposez du forfait Lite pour Watson Studio et du forfait Professional pour Watson Knowledge Catalog, vous utilisez les CUH de Watson Knowledge Catalog.

Si le niveau du plan est identique pour les deux services, vous utilisez les CUH de Watson Studio. Par exemple, si vous avez un forfait Lite pour Watson Studio et un forfait Lite pour Watson Knowledge Catalog, vous ne pouvez utiliser les CUH que dans la limite définie pour Watson Studio. Vous ne pouvez pas ensuite basculer sur les CUH de Watson Knowledge Catalog.

Vous pouvez surveiller la consommation de CUH Watson Studio dans le projet sur la page Environnements.

Vous ne pouvez pas surveiller la consommation de CUH Watson Knowledge Catalog.

Changement de l'environnement d'exécution

{: #change-env} Vous ne pouvez pas modifier l'environnement d'exécution pour travailler dans la raffinerie de données.

Vous pouvez modifier l'environnement d'exécution d'un travail de flux de raffinerie de données en modifiant le modèle de travail. Voir Création de travaux dans la raffinerie de données.

Journaux d'exécution pour des travaux

Pour afficher les journaux cumulés pour un travail Data Refinery :

  1. Dans la page Travaux du projet, cliquez sur le travail qui a exécuté le flux de raffinerie de données pour lequel vous souhaitez afficher les journaux.
  2. Cliquez sur l'exécution de travail. Vous pouvez afficher la queue de journal ou télécharger la totalité du fichier journal.

Etapes suivantes

En savoir plus

Rubrique parent : Choix des ressources de calcul pour les outils