DataStageのシーケンシャルファイル

ステージ・タブ

「入力」タブ

「入力」タブでは、順次ファイルが 1 つ以上のフラット・ファイルにデータを書き込む方法の詳細を指定することができます。 順次ファイルは 1 つの入力リンクしか持つことができませんが、複数のファイルに書き込むことができます。 「ファイル・フォーマット」 で、順次ファイル・フォーマットまたは parquet ファイル・フォーマットを指定できます。

ファイル

このプロパティーは、受信データの書き込み先となるフラット・ファイルを定義します。 パス名を入力することができます。 「ファイル」プロパティーを繰り返して、複数のファイルを指定できます。 このためには、ツリーの上部にある 「プロパティー」項目を選択し、「追加する使用可能なプロパティー」ボックスで「ファイル」をクリックします。 これは、指定する追加のファイルごとに実施してください。

ファイル更新モード

このプロパティーは、指定されたファイルの更新方法を定義します。 同じメソッドが、書き込み先のすべてのファイルに適用されます。 既存のファイルに追加する場合は「追記」から、既存のファイルを上書きする場合は「上書き」から、新規ファイルを作成する場合は「作成」を選択します。 既に存在しているファイルに対して「作成」プロパティーを指定すると、実行時にエラーが発生します。

デフォルトでは、このプロパティーは「上書き」に設定されています。

書き込み方式

このプロパティーは、指定されたファイルに出力を書き込むかどうかを指定します。 デフォルトでは、このプロパティーは「特定のファイル」に設定されています。

プロパティー「複数ファイルの生成」を使用すると、生成されるファイルの追加プロパティーを指定できます。 「複数ファイルの生成」プロパティーの下にあるパーティション・ストリングを除外プロパティーは、生成されたファイルの命名に影響を与えます。 「順次に強制」プロパティーは、処理のタイプを変更します。

また、「複数ファイルの生成」 プロパティーの下には、「キー」 プロパティーもあります。 キー列の指定には、「キー」プロパティーを使用します。 キー列を使用して、キー値が変更されたときに新規ファイルの作成をトリガーすることができます。 キーが指定されていないと、ファイル・サイズによって新規ファイルの作成がトリガーされます。 (最大ファイル・サイズは「オプション」カテゴリーで指定します。)

「キー」プロパティーにはデフォルトを使用できます。 デフォルト設定を変更し、「ファイル名の値を使用」を「はい」に設定すると、ステージはキー列の値をファイル名に適用します。 「ファイル名の値を使用」 オプションを使用しても、「ソート順」や「Nulls の位置」などの他のキー・オプションの動作には影響しません。

失敗時にクリーンアップ

これはデフォルトで True に設定され、ステージが何らかの理由で失敗した場合に、部分的に書き込まれたファイルをステージが削除することを指定します。 部分的に書き込まれたファイルを残すように指定するには、これを False に設定します。

最初の行はカラム名

ファイルの 1 行目に列名が含まれていることを指定します。 このプロパティーは、デフォルトでは false です。

リジェクト・モード

これは、何らかの理由でファイルに書き込まれていないデータ・レコードはどうなるかを指定します。 操作を続行してリジェクトされた行を破棄するには「続行」を、リジェクトされた行がある場合に書き込みを停止するには 「失敗」を、リジェクトされた行をリジェクト・リンクに送信するには「保存」を選択します。

デフォルトでは「続行」が設定されています。

スキーマ・ファイル

これはオプションのプロパティーです。 デフォルトでは、ステージは、「列」 タブおよび 「フォーマット」タブで定義された列定義を、ファイルへの書き込みのためのスキーマとして使用します。 ただし、スキーマを含むファイルを指定することもできます (ただし、「列」 タブで列を定義している場合は、スキーマ・ファイルと一致するようにする必要があります)。 パス名を入力するか、スキーマ・ファイルを参照します。

ファイルの最大サイズ

これはオプションのプロパティーです。 このプロパティーは、ターゲット・ファイルの最大サイズをメガバイト (MB) 単位で指定します。 指定された最大サイズに達すると、別のターゲット・ファイルが生成されます。 代わりに、「プロパティー」カテゴリーでキー列を指定して、新規ファイルの生成をトリガーすることもできます。

このプロパティーは、ステージ・プロパティーの「書き込み方式」が「複数ファイルの生成」に設定されている場合に使用できます。 ファイルの最大サイズが指定されていない場合、ファイル・サイズは無制限になります。

「出力」タブ

「出力」タブでは、順次ファイルが 1 つ以上のフラット・ファイルからデータを読み取る方法の詳細を指定することができます。 「ファイル・フォーマット」 で、順次ファイル・フォーマットまたは parquet ファイル・フォーマットを指定できます。

「出力名」ドロップダウン・リストを使用して、メイン出力リンク (ストリーム・リンク) またはリジェクト・リンクの詳細を表示するかどうかを選択することができます。 「拡張」タブでは、出力リンクのデフォルトのバッファリング設定を変更することができます。

フォーマット

「出力」タブの「形式」セクションでは、読み取り中のフラット・ファイル (複数の場合あり) の形式に関する情報を指定できます。

フォーマット設定のいずれも変更しないと、ステージは以下のフォーマットのファイルを作成します。

• ファイルは、二重引用符で囲まれた可変長列で構成されています。
• すべての列は、行の最後の列を除き、コンマで区切られます。
• 行は UNIX 改行で区切られます。

レコード・レベル

これらのプロパティーは、データ・レコードがフラット・ファイルでフォーマットされる方法の詳細を定義します。 文字を入力できる場所は、通常は ASCII 文字またはマルチバイト Unicode 文字です (NLS が有効になっている場合)。 使用可能なプロパティーは次のとおりです

• Fill char. 出力リンクには適用されません。
• 最終区切り文字ストリング。 列区切り文字の代わりに、レコードの最後の列の後に書き込まれるストリングを指定します。 1 つ以上の文字を入力します。これは、使用される場合はレコード区切り文字に先行します。 最終区切り文字とは相互に排他的なものです。これがデフォルトです。 例えば、区切り文字を「コンマ」と「最終区切り文字列」に設定した場合、すべてのフィールドはコンマで区切られます。ただし、最後のフィールドは、コンマとその後に ASCII スペース文字で区切られます。 DataStage は、ファイルの読み取り時に、指定された区切り文字ストリングをスキップします。
• 最終区切り文字。 フィールド区切り文字の代わりに、レコードの最後の列の後に書き込まれる単一文字を指定します。 文字を入力するか、空白、終了、なし、NULL、タブ、またはコンマのいずれかを選択してください。 DataStage は、ファイルの読み取り時に、指定された区切り文字ストリングをスキップします。 図については、次のダイアグラムを参照してください。
  • 空白。 各レコードの最後の列には、レコードの末尾に末尾の空白文字が含まれていません。
  • 終了。 各レコードの最後の列には、フィールド区切り文字は含まれていません。 これはデフォルト設定です。
  • なし。 各レコードの最後の列には、固定幅フィールドに使用される区切り文字がありません。
  • null。 各レコードの最後の列は、ASCII ヌル文字で区切られています。
  • コンマ。 各レコードの最後の列は、ASCII コンマ文字で区切られます。
  • タブ。 各レコードの最後の列は、ASCII タブ文字で区切られます。
• インタクト。 インタクト・プロパティーは、部分スキーマの ID を指定します。 部分スキーマは、スキーマで指定された列のみがステージによって変更できることを指定します。 行内の他のすべての列は、未変更で渡されます。 部分スキーマが含まれているファイルは、「出力」タブの「スキーマ・ファイル」プロパティーで指定されます。 このプロパティーには従属プロパティーがあります。
  • インタクトをチェック。 これを選択すると、ファイルがインポートされるときに、部分スキーマの検証が強制的に行われます。 これにより、パフォーマンスが低下する可能性があります。
• レコード区切り文字列。 各レコードの終わりに文字列を指定します。 1 文字以上を入力してください。 これは、デフォルトのレコード区切り文字、レコード・タイプ、およびレコード・プレフィックスと一緒に使用することはできません。
• レコード区切り文字。 各レコードの終わりに単一文字を指定します。 文字を入力するか、以下のいずれかを選択します。
  • UNIX 改行 (UNIX Newline) (デフォルト)
  • null

    DOS 改行を指定するには、「\r」または「\n」に設定されたレコード区切り文字列プロパティーを使用します。

    レコード区切り文字は、レコード区切り文字列、レコード接頭部、およびレコード・タイプと相互に排他的です。

• レコード長。 固定長フィールドが読み取られる固定位置を選択します。 DataStage は、レコードの適切な長さを計算します。 あるいは、固定レコードの長さをバイト数として指定します。 これはデフォルトでは使用されません (デフォルト・ファイルはコンマで区切ります)。
• レコード接頭部。 可変長レコードの接頭部に 1 文字、2 バイト、または 4 バイトの長さの接頭部を付けることを指定します。 これはデフォルトで 1 に設定されています。 これは、レコード区切り文字 (デフォルト)、レコード区切り文字列、レコード・タイプと相互に排他的です。
• レコード・タイプ。 可変長ブロック・レコード (可変) または暗黙レコード (暗黙的) で構成されるデータを指定します。 暗黙のプロパティーを選択すると、データは、明示的なレコード境界を持たないストリームとして書き込まれます。 スキーマによって定義されたすべての列が構文解析されると、レコードの終わりは推論されます。 この可変プロパティーを使用すると、V、VB、VS、VBS、または VR のいずれかの IBM ブロックまたはスパン・フォーマットを指定できます。 データは、以下のいずれかの形式でインポートされます。 これらの形式はエクスポートに使用できません。

  このプロパティーは、レコード長、レコード区切り文字、レコード区切り文字列、およびレコード接頭部と相互に排他的です。デフォルトでは使用されません。

フィールドのデフォルト

ファイルから読み取られる列のデフォルト・プロパティーを定義します。 これらはすべての列に適用されますが、「列メタデータの編集」ダイアログ・ボックスを使用して「列」タブから個々の列に対してオーバーライドできます。 個々の列のプロパティーをオーバーライドする一般的な理由は、コンマ区切り値 (CSV) ファイルを読み取るときに発生します。 フィールドに特殊文字 (フィールド区切り文字など) が含まれている可能性がある場合、CSV ファイルのフィールドはよく引用符で囲まれます。 この場合は、問題の列のQuoteプロパティーをオーバーライドする必要があります。

文字を入力できる場所は、通常は ASCII 文字またはマルチバイト Unicode 文字です (NLS が有効になっている場合)。 使用可能なプロパティーは次のとおりです

• 実際のフィールド長。 フィールドの長さが NULL フィールド長プロパティーの設定値と等しい場合に、スキップする実際のバイト数を指定します。
• 区切り文字。 レコード内のすべてのフィールドの末尾区切り文字を指定します。 ASCII 文字を入力するか、空白、終了、なし、NULL、コンマ、またはタブのいずれかを選択してください。 DataStage は、読み取り時に区切り文字をスキップします。
  • 空白。 列の末尾にある空白文字は無視されます。つまり、列の一部として扱われません。
  • 終了。 フィールドの終わりは区切り文字として使用されます。つまり、別個の区切り文字はありません。 これは、固定幅の列を持つフィールドに使用される「なし」の設定とは同じではありません。
  • なし。 区切り文字なし (固定幅で使用されます)。
  • null。 ASCII ヌル文字が使用されます。
  • コンマ。 ASCII コンマ文字が使用されます。
  • タブ。 ASCII タブ文字が使用されます。
• 区切り文字列。 各フィールドの末尾に文字列を指定します。 1 文字以上を入力してください。 これは「区切り文字」(デフォルト) と一緒には使用できません。 例えば、「, 」 (コンマ・スペース - 逆コンマの入力は不要) を指定すると、個々のフィールドについてオーバーライドされない限り、各フィールドは「, 」で区切られます。 DataStage は、読み取り時に区切り文字ストリングをスキップします。
• NULL フィールド長。 NULL を含む可変長フィールドの長さ (バイト)。 可変長フィールドが読み取られると、ソース・フィールドの NULL フィールド長の長さは、NULL を含んでいることを示します。 このプロパティーは、NULL フィールド値と同時には使用できません。
• NULL フィールド値。 ソースが NULL に設定されている場合に、NULL フィールドに付与された値を指定します。 数値、文字列、または C タイプのリテラル・エスケープ文字にすることができます。 例えば、バイト値を \ooo (各 o は 8 進数の 0〜7 で最初の o は< 4) で表すか、\xhh (各 h は 16 進数の 0〜F) で表すことができます。 印刷可能でないバイト値をエンコードするには、この形式を使用する必要があります。

  このプロパティーは、NULL フィールド長および実際の長さと同時に使用できません。 固定幅データ表現の場合、指定した値がフィールドの固定幅より短い場合に、埋め込み文字を使用して、反復後書き文字を指定することができます。(タイプ・デフォルトの一般セクションの場合)。

  NULL を表す列に含まれる NULL 値のリストを指定することができます。 指定するためには、従属 NULL フィールド値セパレータープロパティーに区切り文字を指定してから、このセパレーターを使用して NULL フィールド値 プロパティー内の NULL 値を区切ります。 例えば、NULL フィールド値区セパレーター をスラッシュ文字 (/) を含むように設定すると、NULL/null/NUL/NUL/nul を指定して、これらの文字列のいずれかがこの列で NULL 値を表すことができるように指定することができます。

• NULL フィールド値セパレーター

  これは、NULL フィールド値の従属プロパティーです。 NULL フィールド値 プロパティーで使用できるセパレーターを指定して、NULL 値を表すことができる値の範囲を指定することができます。 セパレーターとして、数値、文字列、または C タイプのリテラル・エスケープ文字 (NULL フィールド値の場合) を指定できますが、コンマ (,) やスラッシュ (/) 文字などの単一文字が最良です。 NULL フィールド値で複数の値を指定する場合にのみ、セパレーターを指定する必要があります。使用せずにセパレーターを指定すると、ランタイム・エラーが発生します。

• 接頭部バイト。 このオプションは、可変長フィールドで使用できます。 可変長フィールドは文字で区切ることができます。また、可変長フィールドには、フィールド長を含む 1 バイト、 2 バイト、または 4 バイトの接頭部を付けることができます。 DataStage は、長さ接頭部を読み取りますが、ファイルから読み取るデータ・セット内の別個のフィールドとして接頭部を組み込みません。

  このプロパティーは、デフォルトで使用される「区切り文字」プロパティー、「引用符」プロパティー、「最終区切り文字」プロパティーと一緒には使用できません。

• 印刷フィールド。 このプロパティーは、ジョブのデバッグ用に使用します。 DataStage が読み取るフィールドごとにメッセージを生成するように設定します。 メッセージのフォーマットは次のとおりです。

  Importing N: D

  ここで、

  • N はフィールド名です。
  • D は、フィールドのインポートされたデータです。 D に含まれる印刷不能文字には、接頭部としてエスケープ文字が付き、C 文字列リテラルとして書き込まれます。フィールドにバイナリー・データが含まれている場合、その出力は 8 進形式で出力されます。
• 引用符。 これは、可変長の列が単一引用符、二重引用符、または別の ASCII 文字/ASCII 文字ペアで囲まれることを指定します。 「単一」または「二重」を選択するか、あるいは文字を入力してください。 これは、デフォルトで二重引用符に設定されます。

  読み取り時に、 DataStage は先行引用符文字を無視し、末尾引用符文字まで (末尾引用符文字は含まない) のすべてのバイトを読み取ります。

• ベクトル接頭部。 可変長ベクトルであるフィールドの場合、1、2、または 4 バイトの接頭部に、ベクトル内のエレメントの数が含まれることを指定します。 個々のベクトルのこのデフォルト接頭部はオーバーライドすることができます。

  可変長ベクトルは、ベクトル内のエレメント数を指定するために、ベクトル上の接頭部または別のフィールドへのリンクのいずれかを使用する必要があります。 可変長ベクトルに接頭部がある場合は、このプロパティーを使用して接頭部の長さを指定します。 DataStage は、長さの接頭部を読み取りますが、それをデータ・セット内の別個のフィールドとして組み込みません。 デフォルトでは、接頭部の長さは 1 バイトであると想定されます。

タイプのデフォルト

これらは、列レベルで特にオーバーライドされない限り、特定のデータ型のすべての列に適用されるプロパティーです。 これらは、データ型に応じていくつかのサブグループに分割されます。

一般

String

10 進数

数値

日付

時刻

タイム・スタンプ

出力の単一列としてのファイル全体の読み取り

順次ファイル・コネクターのフォーマット設定プロパティーを設定して、ファイル全体の内容を 1 列のデータ形式で出力することができます。 例えば、順次ファイル・コネクターは、CSV ファイルの列と行を解析する代わりに、ファイル全体を 1 つの長い VARCHAR ストリングとして読み取ります。 この機能は、処理のために XML ファイル全体を単一レコードとして階層ステージにフィードする場合に役立ちます。