L'étape de l'entonnoir dans DataStage
L'étape Funnel copie plusieurs fichiers d'entrée dans un ensemble de données de sortie unique. Vous pouvez utiliser cette opération pour combiner des fichiers séparés en un seul ensemble de données volumineux.
L'étape Entonnoir est une étape de traitement. Elle peut avoir n'importe quel nombre de liens d'entrée et un seul lien de sortie.
L'étape Entonnoir peut agir dans l'un des trois modes suivants :
- Le mode Filtrage continu permet de combiner les enregistrements des données d'entrée sans garantir leur ordre. Il prend un enregistrement de chaque lien d'entrée, l'un après l'autre. Si aucune donnée n'est disponible à partir d'un lien d'entrée, l'étape n'attend pas et passe au lien suivant.
- Le mode Trier le filtrage combine les enregistrements d'entrée dans l'ordre défini par la ou les valeurs d'une ou de plusieurs colonnes de clé et l'ordre des enregistrements de sortie est déterminé par ces clés de tri.
- Le mode Séquence copie tous les enregistrements du premier jeu de données d'entrée dans le jeu de données de sortie, puis tous les enregistrements du deuxième jeu de données d'entrée, et ainsi de suite.
Pour toutes les méthodes, les métadonnées de tous les jeux de données d'entrée doivent être identiques.
La méthode Trier le filtrage présente des exigences particulières pour les données d'entrée. Tous les jeux de données d'entrée doivent être triés en fonction des mêmes colonnes de clé que celles qui seront utilisées par l'opération Entonnoir.
Généralement, tous les fichiers d'entrée d'une opération d'entonnoir de tri sont partitionnés par hachage avant d'être triés. Le partitionnement par hachage garantit que tous les enregistrements dont les valeurs de colonne de clé sont identiques se trouvent sur la même partition et qu'ils sont traités sur le même noeud. Si le tri et le partitionnement sont effectués à des étapes distinctes avant l'étape Entonnoir, ce partitionnement doit être préservé.
L'opération sortfunnel permet de définir une clé principale et plusieurs clés secondaires. L'étape Entonnoir examine d'abord la clé principale dans chaque enregistrement d'entrée. Si plusieurs enregistrements possèdent la même valeur de clé principale, elle examine les clés secondaires afin de déterminer l'ordre des enregistrements qu'elle générera.
L'éditeur d'étape comporte trois onglets :
- Étape. Elle est toujours présente et sert à indiquer des informations générales sur l'étape.
- Entrée. Il s'agit de l'emplacement où vous spécifiez des détails sur les fichiers joints.
- Sortie. Il s'agit de l'emplacement où vous spécifiez des détails sur les données jointes à la sortie de l'étape.
Regardez la vidéo suivante pour un exemple d'utilisation de l'étape Entonnoir DataStage® .
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Onglet Entrée
La section Colonnes indique les définitions de colonne des données entrantes. La section Avancé vous permet de modifier les paramètres de mise en mémoire tampon par défaut pour le lien d'entrée.
Onglet Sortie
La section Colonnes indique les définitions de colonne des données. La section de la colonne Mappes de l'entrée de colonne qui s'affiche lorsque vous cliquez sur Éditer dans la section Colonnes vous permet de spécifier la relation entre les colonnes en entrée dans l'étape Funnel et les colonnes de sortie. La section Avancé vous permet de modifier les paramètres de mise en mémoire tampon par défaut pour les liens de sortie.
- Mappage de sortie
La liste déroulante affiche les liens de sortie. Ces colonnes sont en lecture seule et ne peuvent pas être modifiées dans cet onglet. Il est obligatoire pour l'étape Funnel que tous les liens d'entrée comportent des métadonnées identiques, de sorte qu'un seul ensemble de définitions de colonne est affiché.
La section de la colonne Mappes de l'entrée de colonne qui s'affiche lorsque vous cliquez sur Éditer dans la section Colonnes vous permet de spécifier la relation entre les colonnes en entrée dans l'étape Funnel et les colonnes de sortie.