DataStage内のウェーブ・ジェネレーター・ステージ

Wave Generator ステージを使用して、大規模なデータをより管理しやすいセットに分割します。 例えば、Aggregator ステージや Sort ステージのようなステージを使用する前に、Wave Generator ステージを使用してデータをセットに分割します。 これにより、ステージではデータ・セットすべてが一度に実行されなくなるため、他のステージがメモリー制限を超えなくなります。

Wave Generator ステージは、常に稼働中のジョブを対象としています。 場合によっては、一部のステージがデータの処理を開始するために、すべての間隔でウェーブ終了マーカーまたはデータ終了マーカーを判別する必要が生じることがあります。 例えば、Sort ステージと Aggregator ステージです。 Sort ステージは、データがまだ受信データである場合には機能しません。 これを処理するために、すべての間隔にウェーブ終了マーカーが生成されます。 ウェーブ終了マーカーは、データを次のレベルにプッシュできることを示します。 ほとんどの「常にリアルタイムな」ジョブでは、ウェーブ終了はソース・ステージによって導入されます。 ただし、Sequential File のような生成ウェーブをソース・ステージでサポートしていない場合は、Wave Generator ステージを使用することができます。 この場合は、Wave Generator ステージを使用します。

このステージは、ソート (行のフロー・セット全体に対する集計) がなく、XML ターゲットを作成する (行のセット全体を通して XML を書き込む) ときに、集計者に役立ちます。 常にジョブにあるソースは、通常は MQ シリーズ、JMS を使用した javaPack、名前付きパイプ、またはフィード・データを停止しないその他のカスタム・リソースのようなものです。