Condivisione degli artefatti DataStage con tutti i contenitori IBM Cloud Object Storage

Ultimo aggiornamento: 12 mar 2025

IBM Cloud Object Storage viene utilizzato per memorizzare IBM® DataStage® risorse utente quali file sequenziali, dataset e fileset. Impostare IBM Cloud Object Storage per archiviare questi artefatti. Una volta impostato il contenitore IBM Cloud Object Storage, è possibile accedervi attraverso diversi contenitori di runtime e utilizzarlo in diverse fasi dei flussi di dati.

Sul cloud, i job DataStage possono essere eseguiti in contenitori di runtime diversi. Se le risorse DataStage come i file sequenziali, i dataset e i fileset vengono scritti in un disco locale di tali contenitori, non saranno accessibili per altri job che potrebbero trovarsi in altri contenitori. Quindi, questi artefatti vengono scritti su IBM Cloud Object Storage, accessibile da qualsiasi contenitore.

DataStage on Cloud legge e scrive i seguenti artefatti DataStage memorizzati in IBM Cloud Object Storage:

File sequenziali (testo/binary)
Dataset (binari)
Fileset (testo)
Serie di file di ricerca (testo)
File di schema (testo)
File di mappa dell'intervallo (binario)

Le risorse utente vengono archiviate automaticamente nella seguente struttura bucket:

DataStage/datasets
DataStage/files
DataStage/schema

Dataset, serie di file e serie di file di ricerca

I dataset, i fileset e i fileset di ricerca vengono creati da IBM DataStage quando si utilizza un flusso di dati. I dataset, i set di file e i set di file di ricerca vengono memorizzati come file descrittori. Questi file contengono informazioni sull'ubicazione dei dati effettivi, nonché i nomi dei file di dati e le relative ubicazioni.

Tutti i file descrittori vengono scritti nella directory DataStage/datasets/ . Tutti i file di dati che appartengono a questi dataset, serie di file o serie di file di ricerca vengono memorizzati nella directory DataStage/data/ . I nomi e i percorsi dei file descrittori non possono essere preceduti da cos://. Il prefisso non è supportato.

file sequenziali

Tutti i file sequenziali creati utilizzando lo stage Sequential File vengono memorizzati e letti dalla directory DataStage/files/ . Ad esempio, DataStage/files/sequential_file.txt. I fileset e i fileset di ricerca sono alcuni dei file creati dallo stage Sequential File . Se il percorso al file sequenziale inizia con “cos://”, il file viene creato nella directory di livello superiore nel bucket Cloud Object Storage .

File schema

I file di schema vengono letti e scritti da IBM DataStage dalla directory DataStage/schemas/ , a meno che il percorso dei file non inizi con “cos://”. Se il percorso inizia con “cos://”, i file si trovano nella directory di livello superiore nel bucket Cloud Object Storage . Ad esempio, specificare schemafile.txt per accedere a quel particolare file nella directory DataStage/schemas/.

I file dello schema vengono creati manualmente e caricati e letti dalle fasi. Dalla sezione delle opzioni nell'editor Stage, è possibile specificare l'ubicazione di un file schema che si desidera utilizzare in uno stage.

Le fasi seguenti possono leggere i file di schema dall'IBM Cloud Object Storage: