Conception des flux DataStage
Les flux DataStage® sont les actifs de phase de conception qui contiennent la logique d'intégration des données.
Vous pouvez créer un flux DataStage vide et y ajouter des connecteurs et des étapes ou vous pouvez importer un flux DataStage existant à partir d'un fichier ISX ou ZIP.
- Sources de données qui lisent les données
- Étapes qui transforment les données
- Cibles de données qui écrivent des données
- Liens reliant les sources, les étapes et les cibles
Les flux DataStage et leurs objets associés sont organisés en projets. Pour démarrer, ouvrez un projet existant ou créez un nouveau projet.
Création d'un flux DataStage
Pour créer un flux DataStage , procédez comme suit.
- Ouvrez un projet existant ou créez un projet.
- Dans l'onglet Actifs, cliquez sur .
- Sur la page Créer un flux DataStage , utilisez l'une des deux méthodes suivantes pour créer le flux DataStage :
- Cliquez sur l'onglet Nouveau , ajoutez les détails nécessaires pour le flux DataStage , puis cliquez sur Créer. Le nouveau flux DataStage s'ouvre sans objet sur la grille du concepteur DataStage .
- Cliquez sur l'onglet Fichier local , puis téléchargez un fichier ISX ou ZIP à partir de votre ordinateur local. Cliquez ensuite sur Créer. Une fois le processus d'importation terminé, fermez la page de rapport d'importation, puis ouvrez le flux DataStage importé à partir de l'onglet Actifs du projet.
- Faites glisser des connecteurs ou des étapes de la palette vers la grille de conception DataStage en tant que noeuds et organisez-les comme vous le souhaitez. Connectez ces noeuds sur le canevas en passant le pointeur sur un noeud pour faire apparaître une flèche sur le noeud, puis cliquez sur l'icône de flèche et faites-la glisser vers le noeud auquel vous souhaitez vous connecter.
Cette action crée un lien entre les nœuds.
Pour se connecter à des données distantes, voir Connexion à une source de données dans DataStage.
- Cliquez deux fois sur un noeud pour ouvrir son panneau de propriétés, dans lequel vous pouvez spécifier les configurations et les paramètres du noeud.
- Cliquez sur Exécuter lorsque vous avez terminé de configurer le flux.
Le flux est automatiquement sauvegardé, compilé et exécuté. Vous pouvez afficher les journaux pour la compilation et l'exécution du travail.
Edition d'un flux DataStage
Vous pouvez utiliser les actions suivantes pour éditer un flux DataStage .
- Faites glisser une étape ou un connecteur et déposez-la sur un lien entre deux noeuds qui se trouvent déjà sur la grille de conception DataStage . Les liens sont automatiquement ajoutés pour le nouveau nœud et les colonnes sont automatiquement propagées. Cliquez à nouveau sur Exécuter pour afficher les résultats.
- Déconnectez et reconnectez manuellement les liens des noeuds sur la grille DataStage en les survolant avec le pointeur de la souris et en cliquant sur les points de terminaison des liens.
- Faites glisser une étape ou un connecteur de la palette et déposez-la sur un lien qui se trouve déjà sur le canevas. L'étape ou le connecteur est automatiquement lié au noeud de chaque côté de celui-ci et les colonnes du flux DataStage sont automatiquement propagées.
- Cliquez sur l'icône Replace
et sélectionnez un autre flux pour remplacer le vôtre. Cette action est également disponible pour les étapes Build, Custom et Wrapped, ainsi que pour les sous-flux et les bibliothèques Java.
Prévisualisation des données
Vous pouvez modifier et prévisualiser les données dans votre flux DataStage. Dans le canevas, cliquez avec le bouton droit de la souris sur votre connexion et sélectionnez Prévisualiser les données. Vous pouvez prévisualiser vos données avec toutes les connexions et tous les connecteurs de fichiers. Pour plus d'informations sur les connecteurs de fichiers, voir Connecteurs de fichiers dans DataStage.
Par exemple, vous pouvez prévisualiser l'heure et la microseconde avec le fuseau horaire. Les types de données " time
et " microseconds time
apparaissent dans le format standard : HH:mm:ss
pour le temps et 'HH:mm:ss.SSSSSS
pour les microsecondes.
Input time: 00:00:01-10:00
Local Time: 00:00:01
offset: -10 (which means UTC is 10 hours ahead of local time)
UTC Time: LocalTime + Offset = 00:00:01 + 10 hrs = 10:00:01
où le fuseau horaire est converti et affiché comme " 10:00:01
dans le format horaire standard.Remarques
- Informations sensibles et valeurs de propriété chiffrées
- Il n'est pas recommandé de spécifier des valeurs de propriété chiffrées, telles que des mots de passe, dans les flux DataStage . A la place, créez un ensemble de paramètres de type Chiffré avec un paramètre nommé et ne spécifiez pas de valeur par défaut pour le paramètre. Dans votre flux, référencez l'ensemble de paramètres chiffrés et spécifiez le paramètre nommé pour la valeur de propriété, par exemple:
#<parameter set>.<parameter name>#
. Indiquez la valeur chiffrée du paramètre#parameter set.parameter name#
dans le travail exécutant votre flux. - Nommage des fichiers dans les sources et les cibles pour éviter la corruption des données
- Dans la plupart des cas, n'utilisez pas le même nom de fichier dans la source que dans la cible si la source et la cible pointent vers la même base de données ou le même système de stockage. Cette règle s'applique aux fichiers et aux tables de base de données. Si les noms sont identiques, les données peuvent être endommagées.
- Propagation des modifications des métadonnées de colonne
- Lorsque vous modifiez les métadonnées d'une colonne, les modifications sont automatiquement propagées en aval. Les modifications apportées en amont ne s'appliquent pas à une colonne une fois que vous avez modifié ses métadonnées. Si vous supprimez une colonne, la modification de la colonne dans une étape ultérieure ne la rajoutera pas.
- Fonction RCP
- Lorsque RCP est défini, si votre travail rencontre des colonnes supplémentaires qui ne sont pas définies dans les métadonnées lors de son exécution, il adopte ces colonnes supplémentaires et les propage dans le reste du travail. Cela évite les erreurs dues à des mappages manquants.
- Ajout de paramètres
- Voir Ajout de paramètres.
En savoir plus
Exemples
- Création d'un flux DataStage
Regardez la vidéo suivante pour un exemple de création d'un flux DataStage simple.
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
- Importation d'un flux DataStage dans un projet
Regardez la vidéo suivante pour un exemple d'importation d'un flux DataStage dans un projet.
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.