Microsoft Azure Konfiguration der Datenabstammung
Um Lineage-Metadaten aus Microsoft Azure Databricks zu importieren, erstellen Sie eine Verbindung, eine Datenquellendefinition und einen Metadaten-Importauftrag.
Führen Sie die folgenden Schritte aus, um Lineage-Metadaten für Microsoft Azure Databricks zu importieren:
- Erstellen Sie eine Datenquellendefinition.
- Erstellen Sie eine Verbindung zur Datenquelle in einem Projekt.
- Erstellen Sie einen Metadatenimport.
Erstellen einer Datenquellendefinition
Erstellen Sie eine Datenquellendefinition. Wählen Sie Microsoft Azure Databricks als Datenquellentyp.
Erstellen einer Verbindung zu Microsoft Azure Databricks
Erstellen Sie eine Verbindung zur Datenquelle in einem Projekt. Einzelheiten zur Verbindung finden Sie unter Microsoft Azure Databricks connection.
Erstellen eines Metadatenimports
Erstellen Sie einen Metadatenimport. Erfahren Sie mehr über die Optionen, die spezifisch für Microsoft Azure Databricks Datenquelle sind:
Verbindungsmodus
Sie können eine Verbindung zu Microsoft Azure Databricks herstellen, indem Sie einen der folgenden Verbindungsmodi verwenden:
- Direktverbindung
- Fernverbindung mit einem Manta-Agenten. Wenn ein Agent konfiguriert ist, wählen Sie ihn in der Liste aus. Weitere Informationen finden Sie unter Konfigurieren von Agenten für den Import von Lineage-Metadaten.
Einschluss- und Ausschlusslisten
Sie können Assets bis zur Schemaebene ein- oder ausschließen. Stellen Sie Kataloge und Schemas im Format "Katalog/Schema" bereit. Jeder Teil wird als regulärer Ausdruck ausgewertet. Assets, die der Datenquelle später hinzugefügt werden, werden ebenfalls eingeschlossen oder ausgeschlossen, wenn sie den in den Listen angegebenen Bedingungen entsprechen. Beispielwerte:
myCatalog/
: alle Schemata inmyCatalog
,myCatalog/.*
: alle Schemata inmyCatalog
,myCatalog3/mySchema1
:mySchema1
vonmyCatalog3
,myCatalog4/mySchema[1-5]
schema: jedes Schema in meinemmyCatalog4
mit einem Namen, der mitmySchema
beginnt und mit einer Ziffer zwischen 1 und 5 endet
Externe Eingaben
Wenn Sie externe Microsoft Azure Databricks dll-Archive verwenden, können Sie diese in einer.zip-Datei als externe Eingabe hinzufügen. Sie können die Struktur der.zip-Datei als dll-Ordner mit Unterordnern oder Archiven organisieren, die die Struktur des Arbeitsbereichs darstellen. Die.zip-Datei kann die folgende Struktur haben:
<dll>
<catalog_name_folder>
<schema_name_folder>
<tables>
<table_name.sql>
<views>
<view_name.sql>
Erweiterte Importoptionen
- Herkunft der Tabelle anzeigen
- Erzeugen Sie Edges zwischen Tabellen, für die keine Informationen zur Herkunft auf Spaltenebene gefunden wurden.
Weitere Informationen
- Microsoft Azure Verbindung zu Databricks
- Microsoft Azure Databricks
- Microsoft Azure Databricks Dokumentation
Übergeordnetes Thema: Unterstützte Konnektoren für den Import von Abstammungslinien