Microsoft Azure Configurazione del lignaggio di Databricks
Per importare i metadati del lignaggio da Microsoft Azure Databricks, creare una connessione, una definizione di origine dati e un lavoro di importazione dei metadati.
Per importare i metadati del lignaggio per Microsoft Azure Databricks, procedere come segue:
- Creare una definizione di origine dati.
- Creare una connessione all'origine dati in un progetto.
- Creare un'importazione di metadati.
Creazione di una definizione di origine dati
Creare una definizione di origine dati. Selezionare Microsoft Azure Databricks come tipo di origine dati.
Creazione di una connessione a Microsoft Azure Databricks
Creare una connessione all'origine dati in un progetto. Per i dettagli sulla connessione, vedere Microsoft Azure Databricks connection.
Creare un'importazione di metadati
Creare un'importazione di metadati. Per saperne di più sulle opzioni specifiche dell'origine dati Microsoft Azure Databricks:
- Modalità di connessione
- Elenchi di inclusione ed esclusione
- Input esterni
- Opzioni di importazione avanzate
Modalità di connessione
È possibile collegarsi a Microsoft Azure Databricks utilizzando una delle seguenti modalità di connessione:
- Connessione diretta
- Connessione remota con un agente Manta. Quando un agente è configurato, selezionarlo dall'elenco. Per ulteriori informazioni, vedere Configurazione degli agenti per l'importazione dei metadati del lignaggio.
Elenchi di inclusione ed esclusione
È possibile includere o escludere le risorse fino al livello di schema. Fornire cataloghi e schemi nel formato catalogo/schema. Ogni parte viene valutata come espressione regolare. Anche gli asset aggiunti successivamente nell'origine dei dati saranno inclusi o esclusi se corrispondono alle condizioni specificate negli elenchi. Valori di esempio:
myCatalog/
: tutti gli schemi inmyCatalog
,myCatalog/.*
: tutti gli schemi inmyCatalog
,myCatalog3/mySchema1
:mySchema1
damyCatalog3
,myCatalog4/mySchema[1-5]
: qualsiasi schema nel miomyCatalog4
con un nome che inizia conmySchema
e finisce con una cifra compresa tra 1 e 5
Input esterni
Se si utilizzano archivi dll esterni a Microsoft Azure Databricks, è possibile aggiungerli in un file.zip come input esterno. È possibile organizzare la struttura del file.zip come la cartella dll con sottocartelle o archivi che rappresentano la struttura dell'area di lavoro. Il file.zip può avere la seguente struttura:
<dll>
<catalog_name_folder>
<schema_name_folder>
<tables>
<table_name.sql>
<views>
<view_name.sql>
Opzioni di importazione avanzate
- Visualizzare il lignaggio della tabella
- Generare perimetri tra le tabelle per le quali non sono state trovate informazioni sul lignaggio a livello di colonna.
Ulteriori informazioni
- Microsoft Azure Connessione Databricks
- Microsoft Azure Databricks
- Microsoft Azure Documentazione Databricks
Argomento principale: Connettori supportati per l'importazione del lignaggio