0 / 0
Retourner à la version anglaise de la documentation

Conception des flux DataStage

Dernière mise à jour : 12 mars 2025
Conception des flux DataStage

Les flux DataStage® sont les actifs de phase de conception qui contiennent la logique d'intégration des données.

Vous pouvez créer un flux DataStage vide et y ajouter des connecteurs et des étapes ou vous pouvez importer un flux DataStage existant à partir d'un fichier ISX ou ZIP.

Les éléments de base d'un flux sont les suivants :
  • Sources de données qui lisent les données
  • Étapes qui transforment les données
  • Cibles de données qui écrivent des données
  • Liens reliant les sources, les étapes et les cibles

Palette et canevas dans IBM DataStage

Les flux DataStage et leurs objets associés sont organisés en projets. Pour démarrer, ouvrez un projet existant ou créez un nouveau projet.

Création d'un flux DataStage

Pour créer un flux DataStage , procédez comme suit.

  1. Ouvrez un projet existant ou créez un projet.
  2. Dans l'onglet Actifs, cliquez sur Nouvel actif + > Transformer et intégrer les données.
  3. Sur la page Créer un flux DataStage , utilisez l'une des deux méthodes suivantes pour créer le flux DataStage :
    • Cliquez sur l'onglet Nouveau , ajoutez les détails nécessaires pour le flux DataStage , puis cliquez sur Créer. Le nouveau flux DataStage s'ouvre sans objet sur la grille du concepteur DataStage .
    • Cliquez sur l'onglet Fichier local , puis téléchargez un fichier ISX ou ZIP à partir de votre ordinateur local. Cliquez ensuite sur Créer. Une fois le processus d'importation terminé, fermez la page de rapport d'importation, puis ouvrez le flux DataStage importé à partir de l'onglet Actifs du projet.
  4. Faites glisser des connecteurs ou des étapes de la palette vers la grille de conception DataStage en tant que noeuds et organisez-les comme vous le souhaitez. Connectez ces noeuds sur le canevas en passant le pointeur sur un noeud pour faire apparaître une flèche sur le noeud, puis cliquez sur l'icône de flèche et faites-la glisser vers le noeud auquel vous souhaitez vous connecter.

    Cette action crée un lien entre les nœuds.

    Pour se connecter à des données distantes, voir Connexion à une source de données dans DataStage.

  5. Cliquez deux fois sur un noeud pour ouvrir son panneau de propriétés, dans lequel vous pouvez spécifier les configurations et les paramètres du noeud.
  6. Cliquez sur Exécuter lorsque vous avez terminé de configurer le flux.

    Le flux est automatiquement sauvegardé, compilé et exécuté. Vous pouvez afficher les journaux pour la compilation et l'exécution du travail.

Une fois le flux compilé dans un travail, vous pouvez réexécuter le travail, définir une planification, surveiller le travail et mettre à jour l'environnement dans lequel vous souhaitez l'exécuter. Pour plus d'informations sur la mise à jour de l' DataStage environnement dans lequel vous souhaitez exécuter vos tâches, consultez Définition des environnements d' DataStage. Environnements d' DataStage.

Edition d'un flux DataStage

Vous pouvez utiliser les actions suivantes pour éditer un flux DataStage .

  • Faites glisser une étape ou un connecteur et déposez-la sur un lien entre deux noeuds qui se trouvent déjà sur la grille de conception DataStage . Les liens sont automatiquement ajoutés pour le nouveau nœud et les colonnes sont automatiquement propagées. Cliquez à nouveau sur Exécuter pour afficher les résultats.
  • Déconnectez et reconnectez manuellement les liens des noeuds sur la grille DataStage en les survolant avec le pointeur de la souris et en cliquant sur les points de terminaison des liens.
  • Faites glisser une étape ou un connecteur de la palette et déposez-la sur un lien qui se trouve déjà sur le canevas. L'étape ou le connecteur est automatiquement lié au noeud de chaque côté de celui-ci et les colonnes du flux DataStage sont automatiquement propagées.
  • Cliquez sur l'icône Replace icône de rafraîchissement circulaire et sélectionnez un autre flux pour remplacer le vôtre. Cette action est également disponible pour les étapes Build, Custom et Wrapped, ainsi que pour les sous-flux et les bibliothèques Java.

Prévisualisation des données

Vous pouvez modifier et prévisualiser les données dans votre flux DataStage. Dans le canevas, cliquez avec le bouton droit de la souris sur votre connexion et sélectionnez Prévisualiser les données. Vous pouvez prévisualiser vos données avec toutes les connexions et tous les connecteurs de fichiers. Pour plus d'informations sur les connecteurs de fichiers, voir Connecteurs de fichiers dans DataStage.

Par exemple, vous pouvez prévisualiser l'heure et la microseconde avec le fuseau horaire. Les types de données " time et " microseconds time apparaissent dans le format standard : HH:mm:ss pour le temps et 'HH:mm:ss.SSSSSS pour les microsecondes.

Pour les types de données de temps, d'horodatage et de microsecondes qui contiennent le fuseau horaire, DataStage ajuste l'heure en fonction du fuseau horaire et affiche l'heure UTC dans le format standard. Par exemple :
Input time: 00:00:01-10:00
Local Time: 00:00:01
offset: -10 (which means UTC is 10 hours ahead of local time)
UTC Time: LocalTime + Offset = 00:00:01 + 10 hrs = 10:00:01
où le fuseau horaire est converti et affiché comme " 10:00:01 dans le format horaire standard.

Remarques

Informations sensibles et valeurs de propriété chiffrées
Il n'est pas recommandé de spécifier des valeurs de propriété chiffrées, telles que des mots de passe, dans les flux DataStage . A la place, créez un ensemble de paramètres de type Chiffré avec un paramètre nommé et ne spécifiez pas de valeur par défaut pour le paramètre. Dans votre flux, référencez l'ensemble de paramètres chiffrés et spécifiez le paramètre nommé pour la valeur de propriété, par exemple: #<parameter set>.<parameter name>#. Indiquez la valeur chiffrée du paramètre #parameter set.parameter name# dans le travail exécutant votre flux.
Nommage des fichiers dans les sources et les cibles pour éviter la corruption des données
Dans la plupart des cas, n'utilisez pas le même nom de fichier dans la source que dans la cible si la source et la cible pointent vers la même base de données ou le même système de stockage. Cette règle s'applique aux fichiers et aux tables de base de données. Si les noms sont identiques, les données peuvent être endommagées.
Propagation des modifications des métadonnées de colonne
Lorsque vous modifiez les métadonnées d'une colonne, les modifications sont automatiquement propagées en aval. Les modifications apportées en amont ne s'appliquent pas à une colonne une fois que vous avez modifié ses métadonnées. Si vous supprimez une colonne, la modification de la colonne dans une étape ultérieure ne la rajoutera pas.
Fonction RCP
Lorsque RCP est défini, si votre travail rencontre des colonnes supplémentaires qui ne sont pas définies dans les métadonnées lors de son exécution, il adopte ces colonnes supplémentaires et les propage dans le reste du travail. Cela évite les erreurs dues à des mappages manquants.
Ajout de paramètres
Voir Ajout de paramètres.

En savoir plus

Exemples

Création d'un flux DataStage

Regardez la vidéo suivante pour un exemple de création d'un flux DataStage simple.

Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.

Importation d'un flux DataStage dans un projet

Regardez la vidéo suivante pour un exemple d'importation d'un flux DataStage dans un projet.

Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.