Google BigQuery-Verbindung

Workload Identity Federation mit Zugriffstokenverbindungsdetails

Copy link to section

• Zugriffstoken: Ein Zugriffstoken vom Identitätsprovider für die Verbindung zu BigQuery.

• Zielgruppe des Sicherheitstokenservice: Die Zielgruppe des Sicherheitstokenservice, die die Projekt-ID, die Pool-ID und die Provider-ID enthält Verwenden Sie das folgende Format:

  //iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/POOL_ID/providers/PROVIDER_ID
  Copy to clipboardIn die Zwischenablage kopiert

  Weitere Informationen finden Sie unter Authentifizieren eines Workloads mithilfe der REST-API.

• Service account email: Die E-Mail-Adresse des Google -Servicekontos, dessen Identität angenommen werden soll. Weitere Informationen finden Sie unter Erstellen eines Dienstkontos für den externen Workload.

• Lebensdauer des Servicekontotokens (optional): Die Lebensdauer des Servicekontozugriffstokens in Sekunden. Die Standardlebensdauer eines Servicekontozugriffstokens beträgt eine Stunde. Weitere Informationen finden Sie unter Anmeldeinformationen aus URL -Quellen.

• Tokenformat: Text oder JSON mit dem Tokenfeldnamen für den Namen des Felds in der JSON-Antwort, das das Token enthält

• Tokenfeldname: Der Name des Felds in der JSON-Antwort, das das Token enthält Dieses Feld wird nur angezeigt, wenn das Tokenformat JSON ist.

• Tokentyp: AWS Signature Version 4-Anforderung, Google OAuth 2.0 -Zugriffstoken, ID-Token, JSON Web Token (JWT) oder SAML 2.0.

Workload Identity Federation mit Token URL Verbindungsdetails

Copy link to section

• Zielgruppe des Sicherheitstokenservice: Die Zielgruppe des Sicherheitstokenservice, die die Projekt-ID, die Pool-ID und die Provider-ID enthält Verwenden Sie das folgende Format:

  //iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/POOL_ID/providers/PROVIDER_ID
  Copy to clipboardIn die Zwischenablage kopiert

  Weitere Informationen finden Sie unter Authentifizieren eines Workloads mit der REST-API.

• Service account email: Die E-Mail-Adresse des Google -Servicekontos, dessen Identität angenommen werden soll. Weitere Informationen finden Sie unter Erstellen eines Dienstkontos für den externen Workload.

• Lebensdauer des Servicekontotokens (optional): Die Lebensdauer des Servicekontozugriffstokens in Sekunden. Die Standardlebensdauer eines Servicekontozugriffstokens beträgt eine Stunde. Weitere Informationen finden Sie unter Anmeldeinformationen aus URL -Quellen.

• Token URL : Die URL, um ein Token abzurufen.

• HTTP method : HTTP Methode, die für die Token-Anfrage URL zu verwenden ist: GET, POST oder PUT.

• Körper der Anfrage (für POST- oder PUT-Methoden): Der Text der HTTP Anfrage zum Abrufen eines Tokens.

• HTTP headers : HTTP Header für die Token-Anfrage URL in JSON oder als JSON-Body. Verwenden Sie das Format: "Key1"="Value1","Key2"="Value2".

• Tokenformat: Text oder JSON mit dem Tokenfeldnamen für den Namen des Felds in der JSON-Antwort, das das Token enthält

• Tokenfeldname: Der Name des Felds in der JSON-Antwort, das das Token enthält Dieses Feld wird nur angezeigt, wenn das Tokenformat JSON ist.

• Tokentyp: AWS Signature Version 4-Anforderung, Google OAuth 2.0 -Zugriffstoken, ID-Token, JSON Web Token (JWT) oder SAML 2.0.

Server-Proxy (optional)

Copy link to section

Wählen Sie Server-Proxy, um auf die Datenquelle Google BigQuery über einen HTTPS Proxy-Server zuzugreifen. Je nach Konfiguration kann ein Proxy-Server Lastausgleich, erhöhte Sicherheit und Datenschutz bereitstellen. Die Proxy-Server-Einstellungen sind unabhängig von den Authentifizierungsnachweisen und der Auswahl persönlicher oder gemeinsam genutzter Berechtigungsnachweise.

• Proxy-Host : Der Hostname oder die IP-Adresse des HTTPS Proxy-Servers. Beispiel: proxy.example.com oder 192.0.2.0.
• Proxy-Anschluss : Die Portnummer für die Verbindung mit dem Proxyserver HTTPS. Beispiel: 8080 oder 8443.
• Proxy username und Proxy password.

Andere Eigenschaften

Copy link to section

Projekt-ID (optional) Die ID des Google -Projekts.

JSON-Ausgabezeichenfolgeformat: JSON-Zeichenfolgeformat für Ausgabewerte, die komplexe Datentypen sind (z. B. verschachtelt oder wiederholt).

• Pretty: Werte werden formatiert, bevor sie an die Ausgabe gesendet werden. Verwenden Sie diese Option, um einige Zeilen visuell zu lesen.
• Raw:(Standard) Keine Formatierung. Verwenden Sie diese Option für die beste Leistung.

Metadatenerkennung: Die Einstellung bestimmt, ob Kommentare zu Spalten (Anmerkungen) und Aliasnamen für Schemaobjekte wie Tabellen oder Ansichten (Synonyme) abgerufen werden, wenn Assets über diese Verbindung hinzugefügt werden.

Berechtigungen

Copy link to section

Für die Verbindung zu Google BigQuery sind die folgenden BigQuery-Berechtigungen erforderlich:

• bigquery.job.create
• bigquery.tables.get
• bigquery.tables.getData

Es gibt drei Möglichkeiten, diese Berechtigungen zu erhalten:

• Verwenden Sie die vordefinierte BigQuery Cloud-IAM-Rolle bigquery.admin, die diese Berechtigungen enthält.
• Verwenden Sie eine Kombination aus zwei Rollen (eine aus jeder Spalte in der folgenden Tabelle) oder
• Erstellen Sie eine angepasste Rolle. Siehe Benutzerdefinierte Rollen erstellen und verwalten.

Weitere Informationen zu Berechtigungen und Rollen in Google BigQuery finden Sie unter Vordefinierte Rollen und Berechtigungen.

Je nach Position auf der Plattform geeignete Methode zum Erstellen einer Verbindung auswählen

Copy link to section

In einem Projekt

Klicken Sie auf Assets > Neues Asset > Verbindung zu einer Datenquelle herstellen. Weitere Informationen finden Sie unter Verbindung zu einem Projekt hinzufügen.

In einem Katalog

Klicken Sie auf Zu Katalog hinzufügen > Verbindung. Weitere Informationen finden Sie unter Verbindungsasset zu einem Katalog hinzufügen.

In einem Bereitstellungsbereich

Klicken Sie auf Assets importieren > Datenzugriff > Verbindung. Siehe Datenassets zu einem Bereitstellungsbereich hinzufügen.

Im Katalog der Plattformressourcen

Klicken Sie auf Neue Verbindung. Weitere Informationen finden Sie unter Hinzufügen von Plattformverbindungen.

Nächster Schritt: Fügen Sie Datenassets aus der Verbindung hinzu

Copy link to section

• Weitere Informationen finden Sie unter Daten aus einer Verbindung in einem Projekt hinzufügen.

• Weitere Informationen finden Sie unter Daten aus einer Verbindung in einem Katalog hinzufügen.

Einschluss- und Ausschlusslisten

Copy link to section

Sie können Assets bis zur Datensatzebene ein- oder ausschließen. Stellen Sie Projekte und Datensätze im Format "Projekt/Datensatz" bereit. Jeder Teil wird als regulärer Ausdruck ausgewertet. Assets, die der Datenquelle später hinzugefügt werden, werden ebenfalls eingeschlossen oder ausgeschlossen, wenn sie den in den Listen angegebenen Bedingungen entsprechen. Beispielwerte:

• myProject/: alle Datensätze in myProject,
• myProject2/.*: alle Datensätze in myProject2,
• myProject3/myDataset1: myDataset1 von myProject3,
• myProject4/myDataset[1-5]: jeder Datensatz in meinem myProject4 mit einem Namen, der mit myDataset beginnt und mit einer Ziffer zwischen 1 und 5 endet

Externe Eingaben

Copy link to section

Wenn Sie externe Google BigQuery SQL- oder Jobskripte verwenden, können Sie diese in einer.zip-Datei als externe Eingabe hinzufügen. Sie können die Struktur einer ZIP-Datei in Unterordnern organisieren, die Projekte und Datasets darstellen. Nach dem Scannen der Scripts werden sie den jeweiligen Projekten und Datasets im ausgewählten Katalog oder Projekt hinzugefügt. Die.zip-Datei kann die folgende Struktur haben:

<project_id>
   <dataset_name>
      <script_name.sql>
<project_id>
        <script_name.sql> 
jobs
       <job_name.json>      
<script_name.sql>
replace.csv
connectionsConfiguration.prm
Copy to clipboardIn die Zwischenablage kopiert

Die Datei replace.csv enthält Platzhalter für die Skripte, die in der.zip-Datei hinzugefügt werden. Weitere Informationen über das Format finden Sie unter Ersetzung von Platzhaltern.

Die Datei connectionsConfiguration.prm enthält Definitionen von Datenbankverbindungsressourcen, die in Verbundabfragen verwendet werden. Die Datei kann wie folgt aufgebaut sein:

[{Shortcut_Name}] Type={connection_type}
Connection_String={connection_string}
Server_Name={server_name}
Database_Name={database_name}
Schema_Name={schema_name}
User_Name={user_name}
Copy to clipboardIn die Zwischenablage kopiert