Microsoft Azure Configuration de la lignée Databricks
Pour importer des métadonnées de lignage à partir de Microsoft Azure Databricks, créez une connexion, une définition de source de données et une tâche d'importation de métadonnées.
Pour importer des métadonnées de lignage pour Microsoft Azure Databricks, procédez comme suit :
- Créer une définition de la source de données.
- Créer une connexion à la source de données dans un projet.
- Créer une importation de métadonnées.
Création d'une définition de source de données
Créer une définition de la source de données. Sélectionnez Microsoft Azure Databricks comme type de source de données.
Création d'une connexion à Microsoft Azure Databricks
Créer une connexion à la source de données dans un projet. Pour plus de détails sur la connexion, voir Microsoft Azure Databricks connection.
Création d'une importation de métadonnées
Créer une importation de métadonnées. En savoir plus sur les options spécifiques à la source de données Microsoft Azure Databricks :
Mode de connexion
Vous pouvez vous connecter à Microsoft Azure Databricks en utilisant l'un des modes de connexion suivants :
- Connexion directe
- Connexion à distance avec un agent Manta. Lorsqu'un agent est configuré, sélectionnez-le dans la liste. Pour plus d'informations, voir Configuration des agents pour l'importation de métadonnées de lignage.
Listes d'inclusion et d'exclusion
Vous pouvez inclure ou exclure des actifs jusqu'au niveau du schéma. Fournir les catalogues et les schémas au format catalogue/schema. Chaque partie est évaluée comme une expression régulière. Les actifs ajoutés ultérieurement dans la source de données seront également inclus ou exclus s'ils répondent aux conditions spécifiées dans les listes. Exemples de valeurs :
myCatalog/
: tous les schémas dansmyCatalog
,myCatalog/.*
: tous les schémas dansmyCatalog
,myCatalog3/mySchema1
:mySchema1
frommyCatalog3
,myCatalog4/mySchema[1-5]
: tout schéma de mon sitemyCatalog4
dont le nom commence parmySchema
et se termine par un chiffre compris entre 1 et 5
Entrées externes
Si vous utilisez des archives dll externes Microsoft Azure Databricks, vous pouvez les ajouter dans un fichier.zip en tant qu'entrée externe. Vous pouvez organiser la structure du fichier.zip comme le dossier dll avec des sous-dossiers ou des archives qui représentent la structure de l'espace de travail. Le fichier.zip peut avoir la structure suivante :
<dll>
<catalog_name_folder>
<schema_name_folder>
<tables>
<table_name.sql>
<views>
<view_name.sql>
Options d'importation avancées
- Afficher la lignée du tableau
- Générer des arêtes entre les tables pour lesquelles les informations de lignage au niveau de la colonne n'ont pas été trouvées.
En savoir plus
- Microsoft Azure Connexion Databricks
- Microsoft Azure Databricks
- Microsoft Azure Documentation Databricks
Sujet parent : Connecteurs supportés pour l'importation de lignées