資料の 英語版 に戻るDataStage でのデータのパーティション化と収集
DataStageでのデータのパーティショニングと収集
最終更新: 2024年11月07日
「入力」タブがある DataStage® ステージまたはコネクターの 「パーティション」 セクションを使用して、データを処理したりデータ・ターゲットに書き込んだりする前に、ステージまたはコネクターが現在のリンク上でどのようにデータをパーティション化または収集するかについての詳細を指定します。
データ・パーティション化は、レコード・セットをパーティションまたはレコードのサブセットに分割することを伴う並列処理のアプローチです。 リソース制約やその他のデータ・スキューの問題が存在しない場合、データ・パーティショニングによってアプリケーションのパフォーマンスを線形に向上させることができます。 DataStage は、ステージが必要とするパーティションのタイプに基づいて、自動的にデータをパーティション化します。
パーティショニングセクションを使用して、データが処理される前、またはデータ・ターゲットに書き込まれる前に入力リンクに到着するデータをソートすることもできます。 ソートの可用性は、選択されるパーティション方式または収集方式によって異なります。 これは、自動メソッドでは使用できません。 パーティショニングセクションには、基本的なソート機能が用意されています。 より複雑なソート操作は、Sort ステージを使用してください。
パーティショニングセクションには、以下のコントロールとフィールドが含まれています。
- パーティション
- リストからパーティション・タイプを選択します。
- 収集中
- リストから収集タイプを選択します。
- ソート
- これらのコントロールを使用して、データのソート方法を指定します。 データは常にデータ・パーティション内でソートされます。 ステージが入力データをパーティショ二ングしている場合、データはパーティショ二ングの後でソートされます。 ステージが着信データを収集する場合、データは収集前にソートされます。
- Sort
- リンクに入ってくるデータをソートするには、ソートの実行を選択します。
- ステーブル
- 以前にソートしたデータ・セットを保存する場合は、「安定」 を選択します。 「安定」はデフォルト設定です。
- 固有
- ソート・キー値ごとに1つのレコードのみを保持する場合は、ユニークを選択します。 複数のレコードが同一のソート・キー値を持つ場合、1つを除くすべてのレコードが破棄されます。 継続的ソートも設定されている場合、ソート・キー値を持つ最初のレコードが、保存されるレコードになります。
DataStageで動的に生成される構成ファイル
DataStageは、ユーザーが作成した設定ファイルをサポートしていません。 動的に生成されるコンフィギュレーション・ファイルのパーティション数は、実行環境のパーティション数を設定するか、環境変数「APT_WLM_PARTITION_COUNT
」にパーティション数を設定することで指定できる。