0 / 0

OpenLineage 계보 구성

마지막 업데이트 날짜: 2025년 4월 15일
OpenLineage 계보 구성

OpenLineage, 에서 계보 메타데이터를 가져오려면 연결, 데이터 소스 정의 및 메타데이터 가져오기 작업을 생성합니다.

OpenLineage, 에 대한 계보 메타데이터를 가져오려면 다음 단계를 완료하세요:

  1. 데이터 소스 정의를 만듭니다.
  2. 프로젝트에서 데이터 소스에 대한 연결을 만듭니다.
  3. 메타데이터 가져오기를 만듭니다.

데이터 원본 정의 만들기

데이터 소스 정의를 만듭니다. 데이터 소스 유형으로 OpenLineage 을 데이터 소스 유형으로 선택합니다.

다음에 대한 연결 만들기 OpenLineage

프로젝트에서 데이터 소스에 대한 연결을 만듭니다. 연결에 대한 자세한 내용은 OpenLineage 연결을 참조하세요.

메타데이터 가져오기 만들기

메타데이터 가져오기를 만듭니다. OpenLineage 데이터 원본에 특정한 옵션에 대해 자세히 알아보세요:

목록 포함 및 제외

OpenLineage 이벤트에서 작업 네임스페이스를 사용하여 자산을 포함하거나 제외할 수 있습니다. 전체 입력은 정규식으로 평가됩니다. 예제 값:

  • myPrestoApp1Namespace작업 네임스페이스가 있는 모든 이벤트 myPrestoApp1Namespace.
  • mySparkApp[1-5]Namespace mySparkApp1Namespace 로 시작하고 1에서 5 사이의 숫자로 끝나는 작업 네임스페이스가 있는 모든 이벤트입니다.

외부 입력

OpenLineage 이벤트를 외부 입력으로 추가할 수 있습니다. 파일은 다음과 같은 구조를 가질 수 있습니다:

<event_file_name>.json

자세한 정보

상위 주제: 계보 가져오기에 지원되는 커넥터