IBM Cloud El almacenamiento de objetos se utiliza para almacenar artefactos de IBM® DataStage® como archivos secuenciales, conjuntos de datos y conjuntos de archivos. Configure IBM Cloud Object Storage para almacenar estos artefactos. Una vez configurado el contenedor de IBM Cloud Object Storage, se puede acceder a él a través de distintos contenedores de tiempo de ejecución y utilizarse en diferentes etapas de los flujos de datos.
En la nube, los trabajos de DataStage se pueden ejecutar en distintos contenedores de tiempo de ejecución. Si los artefactos de DataStage como archivos secuenciales, conjuntos de datos y conjuntos de archivos se graban en un disco local de esos contenedores, no serán accesibles para otros trabajos que puedan estar en otros contenedores. Así, estos artefactos se escriben en IBM Cloud Object Storage, accesible desde cualquiera de los contenedores.
- Archivos secuenciales (texto/binario)
- Conjuntos de datos (binarios)
- Conjuntos de archivos (texto)
- Conjuntos de archivos de búsqueda (texto)
- Archivos de esquema (texto)
- Archivos de mapa de rango (binario)
DataStage/datasets
DataStage/files
DataStage/schema
Conjuntos de datos, conjuntos de archivos y conjuntos de archivos de búsqueda
Los conjuntos de datos, los conjuntos de archivos y los conjuntos de archivos de búsqueda los crea IBM DataStage cuando trabaja con un flujo de datos. Los conjuntos de datos, conjuntos de archivos y conjuntos de archivos de búsqueda se almacenan como archivos descriptores. Estos archivos contienen información sobre dónde se encuentran los datos reales, así como los nombres de archivo de datos y sus ubicaciones.
Todos los archivos descriptores se graban en el directorio DataStage/datasets/
. Todos los archivos de datos que pertenecen a estos conjuntos de datos, conjuntos de archivos o conjuntos de archivos de búsqueda se almacenan en el directorio DataStage/data/
. Los nombres y las vías de acceso de los archivos descriptores no pueden tener como prefijo cos://
. El prefijo no está soportado.
archivos secuenciales
Todos los archivos secuenciales que se crean utilizando la etapa Archivo secuencial se almacenan y se leen en el directorio DataStage/files/
. Por ejemplo, DataStage/files/sequential_file.txt
. Los conjuntos de archivos y los conjuntos de archivos de búsqueda son algunos de los archivos creados por la etapa Archivo secuencial. Si la vía de acceso al archivo secuencial empieza por “cos://”
, el archivo se crea en el directorio de nivel superior en el grupo Cloud Object Storage.
Archivos de esquema
Los archivos de esquema los lee y escribe IBM DataStage desde el directorio DataStage/schemas/
, a menos que la vía de acceso de archivo a los archivos empiece por “cos://”
. Si la vía de acceso se inicia con “cos://”
, los archivos estarán en el directorio de nivel superior en el grupo Cloud Object Storage. Por ejemplo, especificaría schemafile.txt para acceder a ese archivo en particular bajo el directorio DataStage/schemas/.
Los archivos de esquema se crean manualmente y se cargan y leen desde las etapas. En la sección de opciones del editor de etapas, puede especificar la ubicación de un archivo de esquema que desee utilizar en una etapa.
- Generador de filas
- Sequential File
- Conjunto de archivos
- Importar columna
- Exportar columna
- Transformador
Patrón de archivos
Los patrones de archivos que empiezan por un nombre de prefijo común están soportados. Todos los demás patrones de archivo no están soportados.