Partage des artefacts DataStage avec tous les conteneurs IBM Cloud Object Storage
IBM Cloud Object Storage est utilisé pour stocker des artefacts IBM® DataStage® tels que des fichiers séquentiels, des ensembles de données et des ensembles de fichiers. Configurez IBM Cloud Object Storage pour stocker ces artefacts. Une fois le conteneur IBM Cloud Object Storage configuré, il est accessible via différents conteneurs d'exécution et utilisé par différentes étapes dans vos flux de données.
Sur le cloud, les travaux DataStage peuvent s'exécuter dans différents conteneurs d'exécution. Si les artefacts DataStage , tels que les fichiers séquentiels, les ensembles de données et les ensembles de fichiers, sont écrits sur un disque local de ces conteneurs, ils ne seront pas accessibles pour d'autres travaux pouvant se trouver dans d'autres conteneurs. Ainsi, ces artefacts sont écrits sur IBM Cloud Object Storage, qui est accessible depuis n'importe lequel des conteneurs.
- Fichiers séquentiels (texte/bin)
- Ensembles de données (binaires)
- Ensembles de fichiers (texte)
- Ensembles de fichiers de recherche (texte)
- Fichiers de schéma (texte)
- Fichiers de gamme de carte (binaire)
DataStage/datasets
DataStage/files
DataStage/schemaEnsembles de données, ensembles de fichiers et ensembles de fichiers de recherche
Les ensembles de données, les ensembles de fichiers et les ensembles de fichiers de recherche sont créés par IBM DataStage lorsque vous utilisez un flux de données. Les fichiers, les ensembles de fichiers et les ensembles de fichiers de recherche sont stockés sous forme de fichiers de descripteur. Ces fichiers contiennent des informations sur l'emplacement des données réelles, ainsi que sur les noms des fichiers de données et leurs emplacements.
Tous les fichiers de descripteur sont écrits dans le répertoire DataStage/datasets/. Tous les fichiers de données appartenant à ces fichiers, ensembles de fichiers ou ensembles de fichiers de recherche sont stockés dans le répertoire DataStage/data/. Les noms et chemins des fichiers de descripteur ne peuvent pas être préfixés avec cos://. Le préfixe n'est pas pris en charge.
fichiers séquentiels
Tous les fichiers séquentiels créés à l'aide de l'étape Sequential File sont stockés et lus à partir du répertoire DataStage/files/. Par exemple, DataStage/files/sequential_file.txt. Les ensembles de fichiers et les ensembles de fichiers de recherche sont quelques-uns des fichiers créés par l'étape Sequential File. Si le chemin d'accès au fichier séquentiel commence par “cos://”, le fichier est créé dans le répertoire de niveau supérieur dans le compartiment Cloud Object Storage.
Fichiers de schéma
Les fichiers de schéma sont lus et écrits par les flux IBM DataStage à partir du répertoire DataStage/schemas/ , sauf si le chemin d'accès aux fichiers commence par “cos://”. Si le chemin commence par “cos://”, les fichiers se trouve dans le répertoire de niveau supérieur dans le compartiment Cloud Object Storage. Par exemple, vous spécifiez schemafile.txt pour accéder à ce fichier particulier dans le répertoire DataStage/schemas/.
Les fichiers de schéma sont créés manuellement et téléchargés et lus à partir des étapes. Dans la section des options de l'éditeur d'étape, vous pouvez spécifier l'emplacement d'un fichier schéma que vous souhaitez utiliser dans une étape.
- Générateur de ligne
- Sequential File
- Ensemble de fichiers
- Importation de colonne
- Exportation de colonne
- Transformer
Masque de fichier
Les modèles de fichier qui commencent par un nom de préfixe commun sont pris en charge. Tous les autres modèles de fichier ne sont pas pris en charge.