Um auf Ihre Daten in ' OpenLineage, zuzugreifen, erstellen Sie ein Verbindungs-Asset für diese Daten.
OpenLineage ist ein offenes Framework, das für die Sammlung und Analyse von Datenreihen verwendet werden kann.
Erstellen Sie eine Verbindung zu OpenLineage
Zur Erstellung des Verbindungs-Assets benötigen Sie die folgenden Verbindungsdetails:
- Hostname oder IP-Adresse
- Portnummer
Je nach Position auf der Plattform geeignete Methode zum Erstellen einer Verbindung auswählen
- In einem Projekt
- Klicken Sie auf Assets > Neues Asset > Mit einer Datenquelle verbinden. Weitere Informationen finden Sie unter Verbindung zu einem Projekt hinzufügen.
- In einem Katalog
- Klicken Sie auf Zu Katalog hinzufügen > Verbindung. Weitere Informationen finden Sie unter Verbindungsasset zu einem Katalog hinzufügen.
- Im Katalog der Plattformressourcen
- Klicken Sie auf Neue Verbindung. Weitere Informationen finden Sie unter Hinzufügen von Plattformverbindungen.
Nächster Schritt: Fügen Sie Datenassets aus der Verbindung hinzu
- Weitere Informationen finden Sie unter Daten aus einer Verbindung in einem Projekt hinzufügen.
- Weitere Informationen finden Sie unter Daten aus einer Verbindung in einem Katalog hinzufügen.
Wo Sie diese Verbindung verwenden können
Sie können die OpenLineage in den folgenden Arbeitsbereichen und Werkzeugen verwenden:
Projekte
- Metadata import (IBM Knowledge Catalog)
Kataloge
- Platform assets catalog
- Andere KatalogeIBM Knowledge Catalog)
Datenabstammungsbericht
- Metadata import (lineage)IBM Knowledge Catalog und IBM Manta Data Lineage)
Konfigurieren des Imports von Lineage-Metadaten für OpenLineage
Wenn Sie einen Metadaten-Import für die OpenLineage erstellen, können Sie für diese Datenquelle spezifische Optionen festlegen und den Umfang der Daten definieren, für die Lineage generiert wird. Einzelheiten zum Metadatenimport finden Sie unter Entwerfen von Metadatenimporten.
Führen Sie die folgenden Schritte aus, um Metadaten für OpenLineage, zu importieren:
- Erstellen Sie eine Datenquellendefinition. Wählen Sie OpenLineage als Datenquellentyp.
- Erstellen Sie eine Verbindung zur Datenquelle in einem Projekt.
- Erstellen Sie einen Metadatenimport. Erfahren Sie mehr über die Optionen, die für die OpenLineage spezifisch sind:
- Wenn Sie einen Bereich definieren, können Sie die gesamte Datenquelle analysieren oder mit den Optionen "Einschließen" und "Ausschließen" genau die Job-Namensräume definieren, die analysiert werden sollen. Siehe Einschluss- und Ausschlusslisten.
- Optional können Sie auch externe Eingaben machen. Sie fügen diese Datei im Feld Eingaben aus Datei hinzufügen hinzu. Die Datei muss eine unterstützte Struktur haben. Siehe Externe Eingänge.
Einschluss- und Ausschlusslisten
Sie können Assets ein- oder ausschließen, indem Sie Job-Namensräume in OpenLineage verwenden. Die gesamte Eingabe wird als regulärer Ausdruck ausgewertet. Beispielwerte:
myPrestoApp1Namespace: alle Ereignisse mit Job-Namensraum 'myPrestoApp1Namespace.mySparkApp[1-5]Namespace: alle Ereignisse mit einem Job-Namensraum, der mit "mySparkApp1Namespacebeginnt und mit einer Ziffer zwischen 1 und 5 endet.
Externe Eingaben
Sie können OpenLineage-Ereignisse als externe Eingaben hinzufügen. Die Datei kann die folgende Struktur haben:
<event_file_name>.json
Übergeordnetes Thema: Unterstützte Verbindungen