0 / 0

OpenLineage konfiguration der Abstammung

Letzte Aktualisierung: 15. Apr. 2025
OpenLineage konfiguration der Abstammung

Um Metadaten aus OpenLineage, zu importieren, erstellen Sie eine Verbindung, eine Datenquellendefinition und einen Metadaten-Importauftrag.

Führen Sie die folgenden Schritte aus, um Metadaten zur Abstammung für OpenLineage, zu importieren:

  1. Erstellen Sie eine Datenquellendefinition.
  2. Erstellen Sie eine Verbindung zur Datenquelle in einem Projekt.
  3. Erstellen Sie einen Metadatenimport.

Erstellen einer Datenquellendefinition

Erstellen Sie eine Datenquellendefinition. Wählen Sie OpenLineage als Datenquellentyp.

Erstellen einer Verbindung zu OpenLineage

Erstellen Sie eine Verbindung zur Datenquelle in einem Projekt. Einzelheiten zu den Verbindungen finden Sie unter OpenLineage connection.

Erstellen eines Metadatenimports

Erstellen Sie einen Metadatenimport. Erfahren Sie mehr über die Optionen, die für die Datenquelle OpenLineage spezifisch sind:

Einschluss- und Ausschlusslisten

Sie können Assets ein- oder ausschließen, indem Sie Jobnamensbereiche in OpenLineage-Ereignissen verwenden. Die gesamte Eingabe wird als regulärer Ausdruck ausgewertet. Beispielwerte:

  • myPrestoApp1Namespacealle Ereignisse mit Job-Namensraum myPrestoApp1Namespace.
  • mySparkApp[1-5]Namespacealle Ereignisse mit einem Job-Namensraum, der mit mySparkApp1Namespace beginnt und mit einer Ziffer zwischen 1 und 5 endet.

Externe Eingaben

Sie können OpenLineage-Ereignisse als externe Eingaben hinzufügen. Die Datei kann die folgende Struktur haben:

<event_file_name>.json

Weitere Informationen

Übergeordnetes Thema: Unterstützte Konnektoren für den Import von Abstammungslinien