Google BigQuery configurazione del lignaggio

Elenchi di inclusione ed esclusione

È possibile includere o escludere risorse fino al livello di set di dati. Fornire progetti e set di dati nel formato progetto/set di dati. Ogni parte viene valutata come espressione regolare. Anche gli asset aggiunti successivamente nell'origine dei dati saranno inclusi o esclusi se corrispondono alle condizioni specificate negli elenchi. Valori di esempio:

• myProject/: tutti i dataset in myProject,
• myProject2/.*: tutti i dataset in myProject2,
• myProject3/myDataset1: myDataset1 da myProject3,
• myProject4/myDataset[1-5]: qualsiasi dataset nel mio myProject4 con un nome che inizia con myDataset e termina con una cifra compresa tra 1 e 5

Input esterni

Se si utilizzano script SQL o job esterni a Google BigQuery, è possibile aggiungerli in un file.zip come input esterno. È possibile organizzare la struttura di un file .zip in sottocartelle che rappresentano progetti e set di dati. Dopo la scansione, gli script vengono aggiunti ai rispettivi progetti e set di dati nel catalogo o progetto selezionato. Il file.zip può avere la seguente struttura:

<project_id>
   <dataset_name>
      <script_name.sql>
<project_id>
        <script_name.sql>
jobs
       <job_name.json>
<script_name.sql>
replace.csv
connectionsConfiguration.prm

Il file replace.csv contiene dei sostituti segnaposto per gli script aggiunti nel file.zip. Per ulteriori informazioni sul formato, vedere Sostituzioni di segnaposto.

Il file connectionsConfiguration.prm contiene le definizioni delle risorse di connessione al database utilizzate nelle query federate. Il file può avere la seguente struttura:

[{Shortcut_Name}] Type={connection_type}
Connection_String={connection_string}
Server_Name={server_name}
Database_Name={database_name}
Schema_Name={schema_name}
User_Name={user_name}