0 / 0
資料の 英語版 に戻る
DataStageアーティファクトをすべてのIBM Cloud Object Storageコンテナと共有する
最終更新: 2024年11月07日
DataStageアーティファクトをすべてのIBM Cloud Object Storageコンテナと共有する

IBM Cloud オブジェクト・ストレージは、 IBM® DataStage® 成果物 (順次ファイル、データ・セット、ファイル・セットなど) を保管するために使用されます。 これらの成果物を保管するように IBM Cloud Object Storage をセットアップします。 IBM Cloud Object Storage コンテナーは、セットアップされた後、さまざまなランタイム・コンテナー間でアクセスでき、データ・フロー内のさまざまなステージで使用できます。

クラウドでは、 DataStage ジョブを異なるランタイム・コンテナーで実行できます。 順次ファイル、データ・セット、およびファイル・セットなどの DataStage 成果物がそれらのコンテナーのローカル・ディスクに書き込まれる場合、それらの成果物は、他のコンテナー内に存在する可能性がある他のジョブにはアクセスできません。 そのため、これらの成果物はIBM Cloud Object Storageに書き込まれ、どのコンテナからもアクセスできる。

DataStageon Cloudは、IBM Cloud Object Storageに格納されている以下のDataStageアーティファクトを読み書きします:
  • 順次ファイル (テキスト/binary)
  • データ・セット (バイナリー)
  • ファイル・セット (テキスト)
  • ルックアップ・ファイル・セット (テキスト)
  • スキーマ・ファイル (テキスト)
  • 範囲マップ・ファイル (バイナリー)
成果物は、以下のバケット構造に自動的に保管されます。
DataStage/datasets
DataStage/files
DataStage/schema

データ・セット、ファイル・セット、およびルックアップ・ファイル・セット

データ・セット、ファイル・セット、およびルックアップ・ファイル・セットは、データ・フローを処理するときに IBM DataStage によって作成されます。 データ・セット、ファイル・セット、およびルックアップ・ファイル・セットは、記述子ファイルとして保管されます。 これらのファイルには、実際のデータが置かれている場所、およびデータ・ファイル名とその場所に関する情報が含まれています。

すべての記述子ファイルは、DataStage/datasets/ディレクトリーに書き込まれます。 これらのデータ・セット、ファイル・セット、またはルックアップ・ファイル・セットに属するすべてのデータ・ファイルは、DataStage/data/ ディレクトリーに保管されます。 記述子ファイルの名前とパスの前に cos://を付けることはできません。 この接頭部はサポートされていません。

順次ファイル

Sequential File ステージを使用して作成されたすべての順次ファイルは、DataStage/files/ディレクトリーに保管され、そこから読み取られます。 例えば、DataStage/files/sequential_file.txtです。 ファイル・セットとルックアップ・ファイル・セットは、Sequential File ステージで作成されるファイルの一部です。 順次ファイルへのパスが “cos://”で始まる場合、ファイルは Cloud Object Storage バケット内の最上位ディレクトリーに作成されます。

スキーマ・ファイル

スキーマ・ファイルの読み取りと書き込みは、 IBM DataStage フローによって DataStage/schemas/ ディレクトリーから行われます。ただし、ファイルへのファイル・パスが “cos://”で始まる場合は除きます。 パスが “cos://”で始まる場合、ファイルは Cloud Object Storage バケット内の最上位ディレクトリーにあります。 例えば、ディレクトリー DataStage/schemas/の下にある特定のファイルにアクセスするには、 schemafile.txt を指定します。

スキーマ・ファイルは手動で作成され、ステージからアップロードされて読み取られます。 ステージ・エディターのオプション・セクションから、ステージで使用するスキーマ・ファイルの場所を指定することができます。

以下のステージでは、IBM Cloud Object Storageからスキーマ・ファイルを読み取ることができます。
  • Row Generator
  • Sequential File
  • ファイル・セット
  • 列のインポート
  • 列のエクスポート
  • Transformer

ファイル・パターン

共通の接頭部名で始まるファイル・パターンがサポートされています。 他のすべてのファイル・パターンはサポートされていません。