Google BigQuery configuración del linaje

Listas de inclusión y exclusión

Puede incluir o excluir activos hasta el nivel de conjunto de datos. Proporcione los proyectos y los conjuntos de datos en el formato proyecto/conjunto de datos. Cada parte se evalúa como una expresión regular. Los activos que se añadan posteriormente en la fuente de datos también se incluirán o excluirán si cumplen las condiciones especificadas en las listas. Valores de ejemplo:

• myProject/: todos los conjuntos de datos en myProject,
• myProject2/.*: todos los conjuntos de datos en myProject2,
• myProject3/myDataset1: myDataset1 de myProject3,
• myProject4/myDataset[1-5]: cualquier conjunto de datos de mi myProject4 cuyo nombre empiece por myDataset y termine con un dígito entre 1 y 5

Entradas externas

Si utiliza Google BigQuery SQL externo o scripts de trabajo, puede añadirlos en un archivo.zip como entrada externa. Puede organizar la estructura de un archivo .zip como subcarpetas que representen proyectos y conjuntos de datos. Una vez analizados los scripts, se añaden a los proyectos correspondientes del catálogo o proyecto seleccionado. El archivo.zip puede tener la siguiente estructura:

<project_id>
   <dataset_name>
      <script_name.sql>
<project_id>
        <script_name.sql>
jobs
       <job_name.json>
<script_name.sql>
replace.csv
connectionsConfiguration.prm

El archivo replace.csv contiene sustituciones de marcadores de posición para las secuencias de comandos que se añaden en el archivo.zip. Para obtener más información sobre el formato, consulte Sustitución de marcadores de posición.

El archivo connectionsConfiguration.prm contiene las definiciones de los recursos de conexión a la base de datos utilizados en las consultas federadas. El fichero puede tener la siguiente estructura:

[{Shortcut_Name}] Type={connection_type}
Connection_String={connection_string}
Server_Name={server_name}
Database_Name={database_name}
Schema_Name={schema_name}
User_Name={user_name}