OpenLineage configurazione del lignaggio
Per importare i metadati del lignaggio da OpenLineage,, creare una connessione, una definizione dell'origine dati e un lavoro di importazione dei metadati.
Per importare i metadati del lignaggio per OpenLineage,, procedere come segue:
- Creare una definizione di origine dati.
- Creare una connessione all'origine dati in un progetto.
- Creare un'importazione di metadati.
Creazione di una definizione di origine dati
Creare una definizione di origine dati. Selezionare OpenLineage come tipo di origine dati.
Creare una connessione a OpenLineage
Creare una connessione all'origine dati in un progetto. Per i dettagli sul collegamento, vedere OpenLineage connection.
Creare un'importazione di metadati
Creare un'importazione di metadati. Per saperne di più sulle opzioni specifiche dell'origine dati OpenLineage :
Elenchi di inclusione ed esclusione
È possibile includere o escludere risorse utilizzando gli spazi dei nomi dei lavori negli eventi di tipo " OpenLineage ". L'intero input viene valutato come un'espressione regolare. Valori di esempio:
myPrestoApp1Namespace: tutti gli eventi con lo spazio dei nomi dei lavorimyPrestoApp1Namespace.mySparkApp[1-5]Namespace: tutti gli eventi con un namespace di lavoro che inizia conmySparkApp1Namespacee finisce con una cifra compresa tra 1 e 5.
Input esterni
È possibile aggiungere eventi OpenLineage come input esterni. Il file può avere la seguente struttura:
<event_file_name>.json
Ulteriori informazioni
Argomento principale: Connettori supportati per l'importazione del lignaggio