0 / 0

Google BigQuery configuration de la lignée

Dernière mise à jour : 15 avr. 2025
Google BigQuery configuration de la lignée

Pour importer des métadonnées de lignage à partir de Google BigQuery, créez une connexion, une définition de source de données et une tâche d'importation de métadonnées.

Pour importer des métadonnées de lignage pour Google BigQuery, procédez comme suit :

  1. Créer une définition de la source de données.
  2. Créer une connexion à la source de données dans un projet.
  3. Créer une importation de métadonnées.

Création d'une définition de source de données

Créer une définition de la source de données. Sélectionner Google BigQuery comme type de source de données.

Création d'une connexion avec Google BigQuery

Créer une connexion à la source de données dans un projet. Pour plus de détails sur la connexion, voir Google BigQuery connection.

Création d'une importation de métadonnées

Créer une importation de métadonnées. En savoir plus sur les options spécifiques à la source de données Google BigQuery :

Listes d'inclusion et d'exclusion

Vous pouvez inclure ou exclure des actifs jusqu'au niveau de l'ensemble de données. Fournir les projets et les ensembles de données dans le format projet/ensemble de données. Chaque partie est évaluée comme une expression régulière. Les actifs ajoutés ultérieurement dans la source de données seront également inclus ou exclus s'ils répondent aux conditions spécifiées dans les listes. Exemples de valeurs :

  • myProject/: tous les ensembles de données dans myProject,
  • myProject2/.*: tous les ensembles de données dans myProject2,
  • myProject3/myDataset1: myDataset1 from myProject3,
  • myProject4/myDataset[1-5]: tout ensemble de données de mon site myProject4 dont le nom commence par myDataset et se termine par un chiffre compris entre 1 et 5

Entrées externes

Si vous utilisez des scripts SQL ou des scripts de travail externes Google BigQuery, vous pouvez les ajouter dans un fichier.zip en tant qu'entrée externe. Vous pouvez organiser la structure d'un fichier .zip en sous-dossiers qui représentent des projets et des ensembles de données. Une fois les scripts analysés, ils sont ajoutés aux projets et ensembles de données respectifs dans le catalogue ou le projet sélectionné. Le fichier.zip peut avoir la structure suivante :

<project_id>
   <dataset_name>
      <script_name.sql>
<project_id>
        <script_name.sql>
jobs
       <job_name.json>
<script_name.sql>
replace.csv
connectionsConfiguration.prm

Le fichier replace.csv contient des remplaçants pour les scripts qui sont ajoutés dans le fichier.zip. Pour plus d'informations sur le format, voir Remplacements de caractères génériques.

Le fichier connectionsConfiguration.prm contient les définitions des ressources de connexion à la base de données utilisées dans les requêtes fédérées. Le fichier peut avoir la structure suivante :

[{Shortcut_Name}] Type={connection_type}
Connection_String={connection_string}
Server_Name={server_name}
Database_Name={database_name}
Schema_Name={schema_name}
User_Name={user_name}

En savoir plus

Sujet parent : Connecteurs supportés pour l'importation de lignées