Exécution des tâches DataStage
Composants d'un travail DataStage
- Un flux DataStage
- Un environnement d'exécution
- Paramètres du travail
- Ensembles de paramètres
Relations de travail
Les flux DataStage peuvent avoir une relation un à plusieurs avec les travaux DataStage . Vous pouvez utiliser un flux DataStage pour créer plusieurs travaux.
Travaux multi-instance
Tous les travaux DataStage peuvent être instanciés plusieurs fois, ce qui entraîne l'exécution de plusieurs travaux ou l'appel du même travail non modifié. Vous n'avez pas besoin d'attendre qu'un travail ait terminé d'envoyer une nouvelle demande d'exécution de travail pour ce travail. Vous pouvez envoyer une nouvelle demande d'exécution de travail via l'API REST, la ligne de commande (cpdctl) ou le tableau de bord Travaux. Vous pouvez également utiliser plusieurs appels du même travail pour traiter différents fichiers en définissant des paramètres différents pour chaque exécution. Chaque exécution de travail DataStage possède un ID d'exécution de travail.
Le développeur qui conçoit le travail est chargé de s'assurer que plusieurs exécutions de travail ne sont pas en conflit les unes avec les autres. Par exemple, différents appels exécutés simultanément peuvent écrire dans la même table. Plusieurs exécutions d'un travail peuvent également avoir un impact négatif sur les performances du travail.
Vous pouvez définir une valeur DSJobInvocationId pour qu'elle apparaisse comme le "nom" de l'exécution du travail sur le tableau de bord des travaux, afin que vous puissiez trouver une exécution de travail particulière par son nom. Vous pouvez définir le DSJobInvocationId en créant un paramètre ou une variable d'environnement. Vous pouvez définir le DSJobInvocationId à partir d'un pipeline ou lorsque vous démarrez le DataStage (à l'aide de la ligne de commande, par exemple).
Vous pouvez éventuellement spécifier un nom d'exécution de travail lors de l'exécution d'un flux ou d'un travail de pipeline et voir les différentes exécutions de travail dans le tableau de bord Détails du travail. Sinon, vous pouvez également assigner un paramètre local DSJobInvocationId à un nœud Run pipeline job ou Run DataStage job (ce dernier n'est pas disponible pour watsonx). Si le paramètre DSJobInvocationId et le nom d'exécution du travail du nœud sont tous deux définis, DSJobInvocationId sera utilisé. Si aucun des deux n'est défini, la valeur par défaut "job run" est utilisée.
Il n'est pas nécessaire de créer le DSJobInvocationId pour créer un job multi-instance.
Les travaux parallèles et séquentiels migrés DataStage importent DSJobInvocationId en tant que paramètre.
Les instances de travail DataStage qui sont appelées séparément sont différentes des instances qui sont générées lorsque vous exécutez un travail partitionné sur plusieurs processeurs. Le partitionnement et la collecte intégrés gèrent la situation dans laquelle plusieurs processus souhaitent lire ou écrire dans la même source de données pour les travaux partitionnés.
Création d'un travail à partir de la grille de conception DataStage
Pour créer un job DataStage directement dans DataStage, vous devez créer le job à partir du design canvas DataStage dans un flux DataStage.
- Ouvrez un flux DataStage .
- Facultatif: Cliquez sur l'icône Paramètres dans la barre d'outils pour ouvrir la page Paramètres et spécifier les paramètres du travail.
- Cliquez sur Compiler pour compiler le flux DataStage .
- Cliquez sur Exécuter pour exécuter le flux DataStage .
Un travail est créé et exécuté automatiquement. Une fois l'exécution terminée, elle est répertoriée dans l'onglet Travaux du projet dans lequel se trouve votre flux DataStage .
Création d'un travail au niveau du projet
Vous pouvez créer un travail à partir de l'onglet Actifs de votre projet.
- Sélectionnez un flux DataStage dans la liste de l'onglet Actifs du projet. Choisissez Créer un emploi à partir de l'icône de menu avec les listes d'options
à la fin de la ligne du tableau. - Définissez les détails du travail en entrant un nom et une description (facultatif).
- Indiquez les paramètres de votre choix pour le travail.
- Sur la page Planification , vous pouvez éventuellement ajouter une planification ponctuelle ou répétitive.
Si vous définissez un jour et une heure de début sans sélectionner Répéter, le travail s'exécutera exactement une fois à la date et à l'heure indiquées. Si vous définissez une date et une heure de début et que vous sélectionnez Répéter, le travail s'exécutera pour la première fois à l'horodatage indiqué dans la section Répéter.
Vous ne pouvez pas modifier le fuseau horaire ; le planning utilise le paramètre de fuseau horaire de votre navigateur Web. Si vous excluez certains jours de la semaine, le travail risque de ne pas s'exécuter comme prévu. Cela peut être dû à une différence entre le fuseau horaire de l'utilisateur qui crée la planification et le fuseau horaire du noeud de traitement sur lequel le travail s'exécute.
- Choisissez éventuellement de voir les notifications pour le travail. Vous pouvez sélectionner le type d'alertes à recevoir.
- Passez en revue les paramètres de travail. Ensuite, créez le travail et exécutez-le immédiatement, ou créez le travail et exécutez-le plus tard.
Création d'un travail à partir de la ligne de commande cpdctl de l'utilitaire dsjob
Vous pouvez créer un travail DataStage à l'aide d'un flux DataStage existant avec l'utilitaire de ligne de commande cpdctl dsjob, cpdctl dsjob create-job.
cpdctl dsjob create-job --project DataStageProjectName --flow DataStageFlowName \
--description "This is a test job created from command line" \
--schedule-start 2022-11-07 \
--schedule-end 2022-12-08 \
--repeat hourlyExécution des travaux
Pour exécuter un travail manuellement, vous pouvez cliquer sur l'icône d'exécution 
de la barre d'outils dans le canevas de conception DataStage. Vous pouvez démarrer un travail planifié en fonction du planning et de la demande.
Vous pouvez également exécuter un travail manuellement en cliquant sur l'icône d'exécution dans la barre d'outils lorsque vous affichez les détails d'un travail particulier. Les travaux peuvent être planifiés ou exécutés à la demande. En outre, les travaux peuvent être exécutés à l'aide de l'API ou de l'utilitaire de ligne de commande.
Gestion des travaux
- Cliquez sur l'icône Editer les filtres pour filtrer en fonction de différents critères, tels que le type d'actif et la planification.
- Cliquez sur le menu déroulant Travaux en regard de la zone de recherche de travail pour filtrer par critères, tels que les travaux avec des exécutions actives, les exécutions actives, les travaux avec des exécutions terminées et les exécutions terminées.
- Entrez des informations dans la zone de recherche pour rechercher des emplois spécifiques.
Affichage des détails d'exécution de travail et des métriques d'exécution
Cliquez sur un nom de travail dans la liste des travaux pour vérifier les informations d'exécution et les détails. La page des détails du travail indique également le nom de l'exécution s'il a été défini à l'aide du paramètre DSJobInvocationId.
Vous pouvez sélectionner une exécution particulière pour un travail et vérifier les détails de l'exécution. Les détails de l'exécution incluent la durée, les heures de début et de fin, l'utilisateur qui a démarré l'exécution, le travail associé, le nom de l'exécution et le flux DataStage associé. Les paramètres et les valeurs des paramètres d'exécution sont répertoriés. Le journal d'exécution des travaux pour les exécutions est également affiché. L'horodatage qui apparaît dans le journal est celui de l'instance du serveur px-runtime en GMT. Il n'est pas converti dans l'environnement local de l'utilisateur lorsque vous parcourez le journal.
Cliquez sur Exécuter les métriques dans les détails de l'exécution pour afficher les métriques d'exécution du travail. Affichez un récapitulatif des métriques du flux global ou recherchez des liens et des étapes spécifiques. Vous pouvez filtrer les métriques d'exécution en fonction du statut (en cours, en échec ou terminé).
Vous pouvez également accéder aux métriques d'exécution à partir d'un flux en cliquant sur le bouton Exécuter les métriques dans la barre d'outils du canevas. Cliquez sur un lien ou sur une étape dans la liste des indicateurs pour le mettre en évidence dans le canevas.