영어 버전 문서로 돌아가기OpenLineage 연결
OpenLineage 연결
마지막 업데이트 날짜: 2024년 12월 13일
OpenLineage, 데이터에 액세스하려면 해당 데이터에 대한 연결 에셋을 생성합니다.
OpenLineage 데이터 계보를 수집하고 분석하는 데 사용할 수 있는 개방형 프레임워크입니다.
OpenLineage 연결 만들기
연결 자산을 만들려면 다음과 같은 연결 세부 정보가 필요합니다:
- 호스트 이름 또는 IP 주소
- 포트 번호
플랫폼에 있는 위치를 기반으로 연결을 작성하는 방법 선택
- 프로젝트에서
- 자산 > 새 자산 > 데이터 소스에 연결을 클릭합니다. 프로젝트에 연결 추가를 참조하십시오.
- 카탈로그에서
- 카탈로그에 추가 > 연결을 클릭하십시오. 카탈로그에 연결 자산 추가를 참조하십시오.
- 플랫폼 자산 카탈로그에서
- 새 연결을 클릭하십시오. 플랫폼 연결 추가를 참조하십시오.
다음 단계: 연결에서 데이터 자산 추가
- 프로젝트에 있는 연결에서 데이터 추가를 참조하십시오.
- 카탈로그에 있는 연결에서 데이터 추가를 참조하십시오.
이 연결의 사용처
다음 작업 공간 및 도구에서 OpenLineage 연결을 사용할 수 있습니다:
프로젝트
- Metadata import (IBM Knowledge Catalog)
Catalogs
- Platform assets catalog
- 기타 카탈로그IBM Knowledge Catalog
데이터 계보
- Metadata import (lineage)IBM Knowledge Catalog 및 IBM Manta Data Lineage)
OpenLineage 리니지 메타데이터 가져오기 구성하기
OpenLineage 연결에 대한 메타데이터 가져오기를 생성할 때 이 데이터 소스에 특정한 옵션을 설정하고 계보가 생성되는 데이터의 범위를 정의할 수 있습니다. 메타데이터 가져오기에 대한 자세한 내용은 메타데이터 가져오기 디자인을 참조하세요.
OpenLineage, 계보 메타데이터를 가져오려면 다음 단계를 완료하세요:
- 데이터 소스 정의를 만듭니다. 데이터 소스 유형으로 OpenLineage 선택합니다.
- 프로젝트에서 데이터 소스에 대한 연결을 만듭니다.
- 메타데이터 가져오기를 만듭니다. OpenLineage 데이터 소스 전용 옵션에 대해 자세히 알아보세요:
- 범위를 정의할 때 전체 데이터 소스를 분석하거나 포함 및 제외 옵션을 사용하여 분석하려는 정확한 작업 네임스페이스를 정의할 수 있습니다. 목록 포함 및 제외를 참조하세요.
- 선택적으로 외부 입력을 제공할 수 있습니다. 파일에서 입력 추가 필드에 이 파일을 추가합니다. 파일은 지원되는 구조를 가져야 합니다. 외부 입력을 참조하세요.
목록 포함 및 제외
OpenLineage 이벤트에서 작업 네임스페이스를 사용하여 에셋을 포함하거나 제외할 수 있습니다. 전체 입력이 정규식으로 평가됩니다. 예제 값:
myPrestoApp1Namespace: 작업 네임스페이스가 있는 모든 이벤트 'myPrestoApp1Namespace.mySparkApp[1-5]Namespace: 작업 네임스페이스가 'mySparkApp1Namespace'로 시작하고 1에서 5 사이의 숫자로 끝나는 모든 이벤트입니다.
외부 입력
OpenLineage 이벤트를 외부 입력으로 추가할 수 있습니다. 파일은 다음과 같은 구조를 가질 수 있습니다:
<event_file_name>.json
상위 주제: 지원되는 연결