DataStageにおけるファイル環境変数の読み込みと書き込み

デフォルトでは、 DataStage は 500 バイト先読みして次の区切り文字を取得します。 ストリーミング入力 (ソケット、FIFO、およびその他) の場合、この動作は最適ではありません。これは、 DataStage がブロックする (レコードを出力しない) 可能性があるためです。 DataStage は、区切り文字で区切られているレコードを読み取るときに、500 バイトではなく、このバイト数 (最小リーガル値は 2) を読み取ります。 区切り文字が N バイト以内で使用できない場合、 N は係数 2 だけ増分されます (この環境変数が設定されていない場合、この係数は 4 に変更されます)。

デフォルトは 128 (つまり、128 KB) です。 8 以上の値に設定できますが、8 以上の値に制限されます。 つまり、8 より小さい値に設定すると、8 が使用されます。 待ち時間の長いファイル (通常、負荷の高いファイル・サーバーから) の場合は、この値を上方に調整してください。

デフォルトは 128 (つまり、128 KB) です。 8 以上の値に設定できますが、8 以上の値に制限されます。 つまり、8 より小さい値に設定すると、8 が使用されます。 長時間待ちのファイル (通常は負荷の高いファイル・サーバーから) の場合は、この値を上方に調整します。

デフォルトでは、インポート・スキーマ内のすべてのフィールドが含まれていないレコードは、インポート・オペレーターによって拒否されます。 これらのレコードが正常にインポートされるように、APT_IMPORT_HANDLE_SHORT 環境変数を設定します。 欠落しているフィールドには、そのタイプのデフォルト値が指定されるか、フィールドが NULL 可能な場合は NULL が指定されます。

APT_IMPORT_HANDLE_SHORT 環境変数を設定すると、コピー演算子による固定長スキーマの最適化が無効になり、一部の固定長スキーマのパフォーマンスが低下する可能性があります。

APT_IMPORT_HANDLE_SHORT 環境変数は、レコード・リミッターのない固定長レコードのインポートではサポートされません。誤ったデータがインポートされる可能性があるためです。

DataStage バージョン 11.3 では、 Sequential File ステージの動作が変更され、ファイルがインポートされる前にファイル・パターンがファイル・セットに変換されるようになりました。 この変更により、ファイルを順次ではなく並列で処理することができます。

前のバージョンの DataStageの動作を強制するように、APT_IMPORT_PATTERN_USES_CAT 環境変数を設定します。 以前のこの動作では、ファイルを順次インポートする前に、ファイル・パターンに一致するすべてのファイルを連結していました。

APT_IMPORT_PATTERN_USES_FILESET_MOUNTED 環境変数が設定されていて、ファイルがマウントされたファイル・システム上にあることをパターンが示している場合は、使用可能なすべてのノードがファイル・セットに使用されます。

デフォルトでは、読み取り時に、 DataStage は 500 バイト先読みして次の区切り文字を取得します。 見つからない場合、 DataStage は 4 * 500 = 2000 (1500 バイトを超える) バイトを先読みします。以下同様です (4X)。最大 100,000 バイト。 この変数は、上限 (デフォルトでは 100,000 バイト) を制御します。 500 バイトを超える先読みが必要な場合は、APT_DELIMITED_READ_SIZE の代わりにこの変数を使用してください。

デフォルトでは、固定長ストリングにすべての文字が含まれている場合、それは空ストリングとして扱われます。 この環境変数を定義すると、デフォルトの動作がオーバーライドされます。 例えば、固定長ストリングにすべての文字が含まれている場合でも、空でないストリングとして扱われます。

これは、Sequential Fileのエクスポートのデフォルトの動作を、正の小数の前にスペースを書くことから、プラス文字を書くことに変更します。 デフォルト値はFalseである。 この変数はブール型である。

定義された最大長より長い文字列または非文字列フィールドを読み取る際に、静かな警告を発生させる。 デフォルト値はFalseである。 この変数はブール型である。

APT_IMPORT_PATTERN_USES_FILESETが設定されている場合、シーケンシャルリード（インポート）は、ファイルを処理する前に、任意のファイルパターンをファイルセットに変換する。 これにより、ファイルを逐次的に処理するのではなく、並列的に処理することができる。 デフォルトでは、ファイル・パターン処理は入力として使われるファイルを連結する。 デフォルト値はFalseである。 この変数はブール型である。

デフォルトのimportでは、lsコマンドを使ってファイルのリストを取得し、ファイルを処理する前に、任意のファイルパターンをファイルセットに変換する。 この環境変数を設定すると、代わりにfindコマンドを使ってファイルのリストを取得する。 ARG_MAX設定が低く、パターンが読み込めるファイル数が制限されているシステムで、lsの制限を回避するために使用できる。 Findの動作はlsと同じではないので、ファイルの順序やワイルドカードの処理が異なることがある。 デフォルト値はFalseである。 この変数はブール型である。

ファイルパターンを使用して、ファイル名にスペースを含むファイルをインポートする機能を無効にします。 デフォルト値はFalseである。 この変数はブール型である。

これは、DataStage 7.0.1より前に実装されたfinal_delimitorの動作を有効にします。 デフォルト値はFalseである。 この変数はブール型である。

S3から1つのチャンクで読み込まれるデータのサイズを定義する。 デフォルト値は「500」。 この変数はNumber型である。

S33にアップロードされるパーツのサイズを1つのチャンクとして定義する。 デフォルト値は「500」。 この変数はNumber型である。