IBM Cloud オブジェクト・ストレージは、 IBM® DataStage® 成果物 (順次ファイル、データ・セット、ファイル・セットなど) を保管するために使用されます。 これらの成果物を保管するように IBM Cloud Object Storage をセットアップします。 IBM Cloud Object Storage コンテナーは、セットアップされた後、さまざまなランタイム・コンテナー間でアクセスでき、データ・フロー内のさまざまなステージで使用できます。
クラウドでは、 DataStage ジョブを異なるランタイム・コンテナーで実行できます。 順次ファイル、データ・セット、およびファイル・セットなどの DataStage 成果物がそれらのコンテナーのローカル・ディスクに書き込まれる場合、それらの成果物は、他のコンテナー内に存在する可能性がある他のジョブにはアクセスできません。 そのため、これらの成果物はIBM Cloud Object Storageに書き込まれ、どのコンテナからもアクセスできる。
- 順次ファイル (テキスト/binary)
- データ・セット (バイナリー)
- ファイル・セット (テキスト)
- ルックアップ・ファイル・セット (テキスト)
- スキーマ・ファイル (テキスト)
- 範囲マップ・ファイル (バイナリー)
DataStage/datasets
DataStage/files
DataStage/schema
データ・セット、ファイル・セット、およびルックアップ・ファイル・セット
データ・セット、ファイル・セット、およびルックアップ・ファイル・セットは、データ・フローを処理するときに IBM DataStage によって作成されます。 データ・セット、ファイル・セット、およびルックアップ・ファイル・セットは、記述子ファイルとして保管されます。 これらのファイルには、実際のデータが置かれている場所、およびデータ・ファイル名とその場所に関する情報が含まれています。
すべての記述子ファイルは、DataStage/datasets/
ディレクトリーに書き込まれます。 これらのデータ・セット、ファイル・セット、またはルックアップ・ファイル・セットに属するすべてのデータ・ファイルは、DataStage/data/
ディレクトリーに保管されます。 記述子ファイルの名前とパスの前に cos://
を付けることはできません。 この接頭部はサポートされていません。
順次ファイル
Sequential File ステージを使用して作成されたすべての順次ファイルは、DataStage/files/
ディレクトリーに保管され、そこから読み取られます。 例えば、DataStage/files/sequential_file.txt
です。 ファイル・セットとルックアップ・ファイル・セットは、Sequential File ステージで作成されるファイルの一部です。 順次ファイルへのパスが “cos://”
で始まる場合、ファイルは Cloud Object Storage バケット内の最上位ディレクトリーに作成されます。
スキーマ・ファイル
スキーマ・ファイルの読み取りと書き込みは、 IBM DataStage フローによって DataStage/schemas/
ディレクトリーから行われます。ただし、ファイルへのファイル・パスが “cos://”
で始まる場合は除きます。 パスが “cos://”
で始まる場合、ファイルは Cloud Object Storage バケット内の最上位ディレクトリーにあります。 例えば、ディレクトリー DataStage/schemas/の下にある特定のファイルにアクセスするには、 schemafile.txt を指定します。
スキーマ・ファイルは手動で作成され、ステージからアップロードされて読み取られます。 ステージ・エディターのオプション・セクションから、ステージで使用するスキーマ・ファイルの場所を指定することができます。
- Row Generator
- Sequential File
- ファイル・セット
- 列のインポート
- 列のエクスポート
- Transformer
ファイル・パターン
共通の接頭部名で始まるファイル・パターンがサポートされています。 他のすべてのファイル・パターンはサポートされていません。