0 / 0
Volver a la versión inglesa de la documentación
Compartir artefactos DataStage con todos los contenedores de IBM Cloud Object Storage
Última actualización: 07 nov 2024
Compartir artefactos DataStage con todos los contenedores de IBM Cloud Object Storage

IBM Cloud El almacenamiento de objetos se utiliza para almacenar artefactos de IBM® DataStage® como archivos secuenciales, conjuntos de datos y conjuntos de archivos. Configure IBM Cloud Object Storage para almacenar estos artefactos. Una vez configurado el contenedor de IBM Cloud Object Storage, se puede acceder a él a través de distintos contenedores de tiempo de ejecución y utilizarse en diferentes etapas de los flujos de datos.

En la nube, los trabajos de DataStage se pueden ejecutar en distintos contenedores de tiempo de ejecución. Si los artefactos de DataStage como archivos secuenciales, conjuntos de datos y conjuntos de archivos se graban en un disco local de esos contenedores, no serán accesibles para otros trabajos que puedan estar en otros contenedores. Así, estos artefactos se escriben en IBM Cloud Object Storage, accesible desde cualquiera de los contenedores.

DataStage on Cloud lee y escribe los siguientes artefactos de DataStage que se almacenan en IBM Cloud Object Storage:
  • Archivos secuenciales (texto/binario)
  • Conjuntos de datos (binarios)
  • Conjuntos de archivos (texto)
  • Conjuntos de archivos de búsqueda (texto)
  • Archivos de esquema (texto)
  • Archivos de mapa de rango (binario)
Los artefactos se almacenan automáticamente en la siguiente estructura de grupo:
DataStage/datasets
DataStage/files
DataStage/schema

Conjuntos de datos, conjuntos de archivos y conjuntos de archivos de búsqueda

Los conjuntos de datos, los conjuntos de archivos y los conjuntos de archivos de búsqueda los crea IBM DataStage cuando trabaja con un flujo de datos. Los conjuntos de datos, conjuntos de archivos y conjuntos de archivos de búsqueda se almacenan como archivos descriptores. Estos archivos contienen información sobre dónde se encuentran los datos reales, así como los nombres de archivo de datos y sus ubicaciones.

Todos los archivos descriptores se graban en el directorio DataStage/datasets/. Todos los archivos de datos que pertenecen a estos conjuntos de datos, conjuntos de archivos o conjuntos de archivos de búsqueda se almacenan en el directorio DataStage/data/. Los nombres y las vías de acceso de los archivos descriptores no pueden tener como prefijo cos://. El prefijo no está soportado.

archivos secuenciales

Todos los archivos secuenciales que se crean utilizando la etapa Archivo secuencial se almacenan y se leen en el directorio DataStage/files/. Por ejemplo, DataStage/files/sequential_file.txt. Los conjuntos de archivos y los conjuntos de archivos de búsqueda son algunos de los archivos creados por la etapa Archivo secuencial. Si la vía de acceso al archivo secuencial empieza por “cos://”, el archivo se crea en el directorio de nivel superior en el grupo Cloud Object Storage.

Archivos de esquema

Los archivos de esquema los lee y escribe IBM DataStage desde el directorio DataStage/schemas/ , a menos que la vía de acceso de archivo a los archivos empiece por “cos://”. Si la vía de acceso se inicia con “cos://”, los archivos estarán en el directorio de nivel superior en el grupo Cloud Object Storage. Por ejemplo, especificaría schemafile.txt para acceder a ese archivo en particular bajo el directorio DataStage/schemas/.

Los archivos de esquema se crean manualmente y se cargan y leen desde las etapas. En la sección de opciones del editor de etapas, puede especificar la ubicación de un archivo de esquema que desee utilizar en una etapa.

Las siguientes etapas pueden leer archivos de esquema de IBM Cloud Object Storage:
  • Generador de filas
  • Sequential File
  • Conjunto de archivos
  • Importar columna
  • Exportar columna
  • Transformador

Patrón de archivos

Los patrones de archivos que empiezan por un nombre de prefijo común están soportados. Todos los demás patrones de archivo no están soportados.