DataStage에서 퍼널 단계

퍼넬 스테이지는 여러 입력 데이터 세트를 하나의 출력 데이터 세트에 복사합니다. 이 오퍼레이션은 여러 개별 데이터 세트를 하나의 대규모 데이터 세트로 결합하는 데 사용할 수 있습니다.

Funnel 스테이지는 처리 스테이지입니다. 여러 개의 입력 링크와 하나의 출력 링크가 있을 수 있습니다.

Funnel 스테이지는 다음 세 가지 모드 중 하나로 작동할 수 있습니다.

• 연속 퍼널은 보장되지 않은 순서로 입력 데이터의 레코드를 결합합니다. 이 모드는 각 입력 링크에서 차례대로 하나의 레코드를 가져옵니다. 한 입력 링크에서 데이터를 사용할 수 없는 경우 이 스테이지는 기다리지 않고 다음 링크로 건너뜁니다.
• 정렬 퍼널은 하나 이상의 키 열 값에 정의된 순서대로 입력 레코드를 결합하고 출력 레코드 순서는 해당 정렬 키로 결정됩니다.
• 시퀀스는 첫 번째 입력 데이터 세트의 모든 레코드를 출력 데이터 세트에 복사한 후, 두 번째 입력 데이터 세트의 모든 레코드를 복사합니다.

모든 방법에서 모든 입력 데이터 세트의 메타데이터는 동일해야 합니다.

정렬 퍼널 방법에는 입력 데이터에 대한 몇 가지 특별한 요구사항이 있습니다. 모든 입력 데이터 세트는 퍼널 오퍼레이션에서 사용하는 것과 동일한 키 열로 정렬되어야 합니다.

일반적으로 정렬 퍼넬 오퍼레이션의 모든 입력 데이터 세트는 정렬되기 전에 해시 파티셔닝됩니다. 해시 파티셔닝은 동일한 키 열 값을 가진 모든 레코드를 동일한 파티션에 위치하게 하여 동일한 노드에서 처리되도록 합니다. 정렬 및 파티셔닝이 퍼널 스테이지 전의 별도 스테이지에서 수행되는 경우, 이 파티셔닝은 유지되어야 합니다.

sortfunnel 조작을 사용하면 한 개의 기본 키와 여러 개의 보조 키를 설정할 수 있습니다. Funnel 스테이지는 먼저 각 입력 레코드의 기본 키를 검사합니다. 그 후에는 기본 키 값이 동일한 여러 레코드에 대해 보조 키를 검사하여 출력할 레코드의 순서를 결정합니다.

스테이지 편집기에는 다음의 세 가지 탭이 있습니다.

• 스테이지. 이 페이지는 항상 표시되며 스테이지에 대한 일반 정보를 지정하는 데 사용됩니다.
• 입력. 여기서 결합할 데이터 세트에 대한 세부사항을 지정할 수 있습니다.
• 출력. 여기서 스테이지에서 출력되는 결합된 데이터에 대한 세부사항을 지정할 수 있습니다.

DataStage® Funnel 스테이지에서 작업하는 방법에 대한 예제를 보려면 다음 비디오를 보십시오.

이 비디오는 이 문서의 개념 및 태스크를 학습하기 위한 시각적 방법을 제공합니다.

입력 탭

컬럼 섹션은 수신 데이터의 컬럼 정의를 지정합니다. 고급 섹션에서는 입력 링크의 기본 버퍼링 설정을 변경할 수 있습니다.

출력 탭

컬럼 섹션은 데이터의 컬럼 정의를 지정합니다. 컬럼 섹션에서 편집을 클릭할 때 표시되는 열 입력의 맵 컬럼 섹션은 퍼널 스테이지에 입력 중인 컬럼과 출력 컬럼 사이의 관계를 지정할 수 있도록 허용합니다. 고급 섹션에서는 출력 링크의 기본 버퍼링 설정을 변경할 수 있습니다.

출력 맵핑

드롭 다운에 출력 링크가 표시됩니다. 이는 읽기 전용이므로 이 탭에서 수정할 수 없습니다. 퍼넬 스테이지에서는 모든 입력 링크의 메타데이터가 동일해야 하므로, 한 개의 컬럼 정의 세트만 표시됩니다.

컬럼 섹션에서 편집을 클릭하면 표시되는 입력 컬럼의 맵 섹션에서는 퍼넬 스테이지에 입력되는 컬럼과 출력 컬럼 간의 관계를 지정할 수 있습니다.