Connexion Google BigQuery

Fédération d'identité de charge de travail avec détails de connexion de jeton d'accès

Copy link to section

• Jeton d'accès: jeton d'accès du fournisseur d'identité permettant de se connecter à BigQuery.

• Public du service de jeton de sécurité: Public du service de jeton de sécurité qui contient l'ID de projet, l'ID de pool et l'ID de fournisseur. Utilisez le format suivant :

  //iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/POOL_ID/providers/PROVIDER_ID
  Copy to clipboardCopié dans le presse-papiers

  Pour plus d'informations, voir Authentifier une charge de travail à l'aide de l'API REST.

• Adresse électronique du compte de service: adresse électronique du compte de service Google dont l'identité doit être usurpée. Pour plus d'informations, voir Créer un compte de service pour la charge de travail externe.

• Durée de vie du jeton de compte de service (facultatif): durée de vie en secondes du jeton d'accès du compte de service. La durée de vie par défaut d'un jeton d'accès de compte de service est d'une heure. Pour plus d'informations, voir URL.

• Format de jeton: texte ou JSON avec le nom de zone de jeton pour le nom de la zone dans la réponse JSON qui contient le jeton.

• Token field name: nom de la zone dans la réponse JSON qui contient le jeton. Cette zone s'affiche uniquement lorsque le Format de jeton est JSON.

• Type de jeton: demande AWS Signature Version 4, jeton d'accès Google OAuth 2.0 , jeton d'ID, jeton Web JSON (JWT) ou SAML 2.0.

Workload Identity Federation avec jeton URL détails de connexion

Copy link to section

• Public du service de jeton de sécurité: Public du service de jeton de sécurité qui contient l'ID de projet, l'ID de pool et l'ID de fournisseur. Utilisez le format suivant :

  //iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/POOL_ID/providers/PROVIDER_ID
  Copy to clipboardCopié dans le presse-papiers

  Pour plus d'informations, voir Authentifier une charge de travail à l'aide de l'API REST.

• Adresse électronique du compte de service: adresse électronique du compte de service Google dont l'identité doit être usurpée. Pour plus d'informations, voir Créer un compte de service pour la charge de travail externe.

• Durée de vie du jeton de compte de service (facultatif): durée de vie en secondes du jeton d'accès du compte de service. La durée de vie par défaut d'un jeton d'accès de compte de service est d'une heure. Pour plus d'informations, voir URL.

• Token URL : Le URL pour récupérer un token.

• HTTP method : HTTP méthode à utiliser pour la demande de jeton URL : GET, POST ou PUT.

• Corps de la demande (pour les méthodes POST ou PUT) : Le corps de la requête HTTP pour récupérer un jeton.

• HTTP headers : HTTP headers for the token URL request in JSON or as a JSON body. Utilisez le format: "Key1"="Value1","Key2"="Value2".

• Format de jeton: texte ou JSON avec le nom de zone de jeton pour le nom de la zone dans la réponse JSON qui contient le jeton.

• Token field name: nom de la zone dans la réponse JSON qui contient le jeton. Cette zone s'affiche uniquement lorsque le Format de jeton est JSON.

• Type de jeton: demande AWS Signature Version 4, jeton d'accès Google OAuth 2.0 , jeton d'ID, jeton Web JSON (JWT) ou SAML 2.0.

Proxy serveur (facultatif)

Copy link to section

Sélectionnez Proxy serveur pour accéder à la source de données Google BigQuery via un serveur proxy HTTPS. En fonction de sa configuration, un serveur proxy peut fournir un équilibrage de charge, une sécurité et une confidentialité accrues. Les paramètres du serveur proxy sont indépendants des données d'authentification et de la sélection des données d'identification personnelles ou partagées.

• Proxy host : Le nom d'hôte ou l'adresse IP du serveur proxy HTTPS. Par exemple, proxy.example.com ou 192.0.2.0.
• Proxy port : Le numéro de port pour se connecter au serveur proxy HTTPS. Par exemple, 8080 ou 8443.
• Nom d'utilisateur du proxy et Mot de passe du proxy.

Autres propriétés

Copy link to section

ID projet (facultatif) ID du projet Google .

Format de chaîne JSON de sortie: format de chaîne JSON pour les valeurs de sortie qui sont des types de données complexes (par exemple, imbriquées ou répétées).

• Jolie: les valeurs sont formatées avant d'être envoyées en sortie. Utilisez cette option pour lire visuellement quelques lignes.
• Brut: (valeur par défaut) Pas de formatage. Utilisez cette option pour obtenir les meilleures performances.

Reconnaissance des métadonnées: ce paramètre détermine si les commentaires sur les colonnes (remarques) et les alias des objets de schéma tels que les tables ou les vues (synonymes) sont extraits lorsque des actifs sont ajoutés à l'aide de cette connexion.

Droits

Copy link to section

La connexion à Google BigQuery requiert les droits BigQuery suivants :

• bigquery.job.create
• bigquery.tables.get
• bigquery.tables.getData

Utilisez l'une des trois méthodes suivantes pour obtenir ces droits :

• Utilisez le rôle prédéfini BigQuery Cloud IAM bigquery.admin, qui inclut ces droits d'accès.
• Utilisez une combinaison de deux rôles, l'un de chaque colonne du tableau suivant ; ou
• Créer un rôle personnalisé. Voir Créer et gérer des rôles personnalisés.

Pour plus d'informations sur les autorisations et les rôles dans Google BigQuery, voir Rôles et autorisations prédéfinis.

Choisissez la méthode de création d'une connexion basée sur l'emplacement dans la plateforme.

Copy link to section

Dans un projet

Cliquez sur Actifs > Nouvel actif > Connexion à une source de données. Voir Ajout d'une connexion à un projet.  

Dans un catalogue

Cliquez sur Ajouter au catalogue > Connexion. Voir Ajout d'un actif de connexion à un catalogue.

Dans un espace de déploiement

Cliquez sur Importer les actifs > Accès aux données > Connexion. Voir Ajout d'actifs de données à un espace de déploiement.

Dans le catalogue d'actifs de la plateforme

Cliquez sur Nouvelle connexion. Voir Ajout de connexions de plateforme.

Etape suivante : ajout d'actifs de données à partir de la connexion

Copy link to section

• Voir Ajouter des données à partir d'une connexion dans un projet.

• Voir Ajouter des données à partir d'une connexion dans un catalogue.

Listes d'inclusion et d'exclusion

Copy link to section

Vous pouvez inclure ou exclure des actifs jusqu'au niveau de l'ensemble de données. Fournir les projets et les ensembles de données dans le format projet/ensemble de données. Chaque partie est évaluée comme une expression régulière. Les actifs ajoutés ultérieurement dans la source de données seront également inclus ou exclus s'ils répondent aux conditions spécifiées dans les listes. Exemples de valeurs :

• myProject/: tous les ensembles de données dans myProject,
• myProject2/.*: tous les ensembles de données dans myProject2,
• myProject3/myDataset1: myDataset1 from myProject3,
• myProject4/myDataset[1-5]: tout ensemble de données de mon site myProject4 dont le nom commence par myDataset et se termine par un chiffre compris entre 1 et 5

Entrées externes

Copy link to section

Si vous utilisez des scripts SQL ou des scripts de travail externes Google BigQuery, vous pouvez les ajouter dans un fichier.zip en tant qu'entrée externe. Vous pouvez organiser la structure d'un fichier .zip en sous-dossiers qui représentent des projets et des ensembles de données. Une fois les scripts analysés, ils sont ajoutés aux projets et ensembles de données respectifs dans le catalogue ou le projet sélectionné. Le fichier.zip peut avoir la structure suivante :

<project_id>
   <dataset_name>
      <script_name.sql>
<project_id>
        <script_name.sql> 
jobs
       <job_name.json>      
<script_name.sql>
replace.csv
connectionsConfiguration.prm
Copy to clipboardCopié dans le presse-papiers

Le fichier replace.csv contient des remplaçants pour les scripts qui sont ajoutés dans le fichier.zip. Pour plus d'informations sur le format, voir Remplacements de caractères génériques.

Le fichier connectionsConfiguration.prm contient les définitions des ressources de connexion à la base de données utilisées dans les requêtes fédérées. Le fichier peut avoir la structure suivante :

[{Shortcut_Name}] Type={connection_type}
Connection_String={connection_string}
Server_Name={server_name}
Database_Name={database_name}
Schema_Name={schema_name}
User_Name={user_name}
Copy to clipboardCopié dans le presse-papiers