외부 필터 단계(DataStage)

외부 필터 스테이지에서는 처리할 데이터에 대한 필터 역할을 하는 UNIX 명령을 지정할 수 있습니다.

외부 필터 스테이지는 처리 스테이지입니다. 이 스테이지에는 단일 입력 링크와 단일 출력 링크가 있습니다. 예를 들어, 스테이지를 사용하여 특정 문자열 또는 패턴에 대한 데이터 세트를 grep하고 일치하는 항목이 없는 레코드를 삭제할 수 있습니다. 이 기술을 사용하여 데이터를 신속하게 필터링할 수 있습니다.

이 명령이 실행되기 전에 데이터의 시작 및 끝에서 공백이 제거됩니다. 이 작동을 방지하려면 스키마에 형식 옵션을 설정하는, 명시적으로 랩핑된 명령을 사용하십시오.

스테이지 편집기에는 다음의 세 가지 탭이 있습니다.

• 스테이지. 이 탭에서는 스테이지에 대한 일반 정보를 지정할 수 있습니다.
• 입력. 이 탭에서는 필터링할 데이터를 전달하는 입력 링크에 대한 세부사항을 지정할 수 있습니다.
• 출력. 이 탭에서는 스테이지에서 출력할 필터링된 데이터에 대한 세부사항을 지정할 수 있습니다.

입력 탭

컬럼 섹션은 수신 데이터의 컬럼 정의를 지정합니다. 고급 섹션에서는 입력 링크의 기본 버퍼링 설정을 변경할 수 있습니다.

출력 탭

출력 탭에서는 외부 필터 스테이지의 데이터 출력에 대한 세부사항을 지정할 수 있습니다. 이 스테이지에는 하나의 출력 링크만 있을 수 있습니다.

데이터의 컬럼 정의를 지정하려면 컬럼 섹션에서 편집을 클릭하십시오. 고급 섹션에서는 출력 링크의 기본 버퍼링 설정을 변경할 수 있습니다.