DataStageのファネル・ステージ

Funnel ステージは、複数の入力データ・セットを単一の出力データ・セットにコピーします。 この操作は、別々のデータ・セットを単一の大きなデータ・セットに結合するために使用できます。

Funnel ステージは処理ステージです。 これには、任意の数の入力リンクと 1 つの出力リンクを設定できます。

Funnel ステージは、次の 3 つのモードのいずれかで操作できます。

• 「継続ファンネル」では、入力データのレコードを 順不同で結合します。 各入力から順番に 1 つのレコードを取得します。 入力リンクに取得できるデータがない場合、ステージは、待機する代わりにそのリンクをスキップして、次のリンクに移ります。
• 「ソート・ファンネル」では、1 つ以上のキー列の値によって 定義した順序で入力レコードを結合します。 出力レコードの順序は、これらのソート・キーによって決まります。
• 「シーケンス」では、最初の入力データ・セットのすべてのレコードを 出力データ・セットにコピーしてから、2 番目の入力データ・セットのすべてのレコードをコピーするというように、 各入力データ・セットから順次、すべてのレコードをコピーしていきます。

どの方法でも、すべての入力データ・セットのメタデータは同一である必要があります。

「ソート・ファンネル」方式には、入力データに関して特定の要件があります。 すべての入力データ・セットは、ファンネル処理で使用するものと同じキー列によってソートされている必要があります。

通常、ソート・ファネル操作のすべての入力データ・セットは、ソートされる前にハッシュ・パーティションされます。 ハッシュ・パーティションでは、キー列に同じ値を持つすべてのレコードが同じパーティションに配置され、同じノードで処理されることが保証されます。 Funnel ステージの前に、別個のステージでソートおよびパーティションが実行された場合、このパーティションは保持されなければなりません。

「ソート・ファンネル」処理では、1 つの主 キーと 複数の 2 次 キーを設定できます。 Funnel ステージは、各入力レコードの主キーを最初に調べます。 同一の主キー値を持つ複数のレコードについては、2 次キーを調べて、レコードの出力順を決定します。

ステージ・エディターには以下の 3 つのタブがあります。

• ステージ。 常に表示され、ステージの全般的な情報を指定するために使用します。
• 入力。 ここで、結合されるデータ・セットに関する詳細を指定します。
• 出力。 ここで、ステージから出力される結合データに関する詳細を指定します。

DataStage® Funnel ステージでの作業例については、以下のビデオをご覧ください。

このビデオは、この資料の概念とタスクを学習するための視覚的な方法を提供します。

「入力」タブ

「列」 セクションは、受信データの列定義を指定します。 「拡張」セクションでは、入力リンクのデフォルトのバッファリング設定を変更することができます。

「出力」タブ

「列」セクションは、データの列定義を指定します。 列セクションで、編集をクリックすると表示される列入力からのマップ列セクションでは、Funnelステージに入力される列と出力列の間の関係を指定できます。 「拡張」セクションでは、出力リンクのデフォルトのバッファリング設定を変更することができます。

出力のマッピング

ドロップダウンには、出力リンクが表示されます。 これらは読み取り専用で、このタブでは変更できません。 これは、すべての入力リンクが同一のメタデータを持つための Funnel ステージの要件であり、1 セットの列定義のみが表示されるようになっています。

「列」セクションで「編集」をクリックすると表示される「「列入力からのマップ」列セクションでは、Funnel ステージに入力される列と出力列の間の関係を指定することができます。