OpenLineage configuration de la lignée
Pour importer des métadonnées de lignage à partir de OpenLineage,, créez une connexion, une définition de source de données et une tâche d'importation de métadonnées.
Pour importer des métadonnées de lignage pour OpenLineage,, procédez comme suit :
- Créer une définition de la source de données.
- Créer une connexion à la source de données dans un projet.
- Créer une importation de métadonnées.
Création d'une définition de source de données
Créer une définition de la source de données. Sélectionner OpenLineage comme type de source de données.
Création d'une connexion avec OpenLineage
Créer une connexion à la source de données dans un projet. Pour plus de détails sur la connexion, voir OpenLineage connection.
Création d'une importation de métadonnées
Créer une importation de métadonnées. En savoir plus sur les options spécifiques à la source de données OpenLineage :
Listes d'inclusion et d'exclusion
Vous pouvez inclure ou exclure des actifs en utilisant les espaces de noms de travail dans les événements OpenLineage. L'ensemble de l'entrée est évalué comme une expression régulière. Exemples de valeurs :
myPrestoApp1Namespace: tous les événements avec l'espace de noms de l'emploimyPrestoApp1Namespace.mySparkApp[1-5]Namespace: tous les événements dont l'espace de travail commence parmySparkApp1Namespaceet se termine par un chiffre compris entre 1 et 5.
Entrées externes
Vous pouvez ajouter des événements OpenLineage en tant qu'entrées externes. Le fichier peut avoir la structure suivante :
<event_file_name>.json
En savoir plus
Sujet parent : Connecteurs supportés pour l'importation de lignées