Google BigQuery configuration de la lignée
Pour importer des métadonnées de lignage à partir de Google BigQuery, créez une connexion, une définition de source de données et une tâche d'importation de métadonnées.
Pour importer des métadonnées de lignage pour Google BigQuery, procédez comme suit :
- Créer une définition de la source de données.
- Créer une connexion à la source de données dans un projet.
- Créer une importation de métadonnées.
Création d'une définition de source de données
Créer une définition de la source de données. Sélectionner Google BigQuery comme type de source de données.
Création d'une connexion avec Google BigQuery
Créer une connexion à la source de données dans un projet. Pour plus de détails sur la connexion, voir Google BigQuery connection.
Création d'une importation de métadonnées
Créer une importation de métadonnées. En savoir plus sur les options spécifiques à la source de données Google BigQuery :
Listes d'inclusion et d'exclusion
Vous pouvez inclure ou exclure des actifs jusqu'au niveau de l'ensemble de données. Fournir les projets et les ensembles de données dans le format projet/ensemble de données. Chaque partie est évaluée comme une expression régulière. Les actifs ajoutés ultérieurement dans la source de données seront également inclus ou exclus s'ils répondent aux conditions spécifiées dans les listes. Exemples de valeurs :
myProject/
: tous les ensembles de données dansmyProject
,myProject2/.*
: tous les ensembles de données dansmyProject2
,myProject3/myDataset1
:myDataset1
frommyProject3
,myProject4/myDataset[1-5]
: tout ensemble de données de mon sitemyProject4
dont le nom commence parmyDataset
et se termine par un chiffre compris entre 1 et 5
Entrées externes
Si vous utilisez des scripts SQL ou des scripts de travail externes Google BigQuery, vous pouvez les ajouter dans un fichier.zip en tant qu'entrée externe. Vous pouvez organiser la structure d'un fichier .zip en sous-dossiers qui représentent des projets et des ensembles de données. Une fois les scripts analysés, ils sont ajoutés aux projets et ensembles de données respectifs dans le catalogue ou le projet sélectionné. Le fichier.zip peut avoir la structure suivante :
<project_id>
<dataset_name>
<script_name.sql>
<project_id>
<script_name.sql>
jobs
<job_name.json>
<script_name.sql>
replace.csv
connectionsConfiguration.prm
Le fichier replace.csv
contient des remplaçants pour les scripts qui sont ajoutés dans le fichier.zip. Pour plus d'informations sur le format, voir Remplacements de caractères génériques.
Le fichier connectionsConfiguration.prm
contient les définitions des ressources de connexion à la base de données utilisées dans les requêtes fédérées. Le fichier peut avoir la structure suivante :
[{Shortcut_Name}] Type={connection_type}
Connection_String={connection_string}
Server_Name={server_name}
Database_Name={database_name}
Schema_Name={schema_name}
User_Name={user_name}
En savoir plus
Sujet parent : Connecteurs supportés pour l'importation de lignées