Google BigQuery リネージュ構成

インクルードリストと除外リスト

データ・セット・レベルまで資産を含めたり除外したりすることができます。 プロジェクトとデータセットをプロジェクト/データセットの形式で指定します。 各部品は正規表現として評価されます。 データ・ソースに後から追加された資産も、リストで指定された条件に一致すれば、含まれます/除外されます。 値の例：

• myProject/ myProject、
• myProject2/.* myProject2、
• myProject3/myDataset1: myDataset1 from myProject3、
• myProject4/myDataset[1-5] myProject4 myDataset 、1～5の数字で始まる名前を持つデータセット

外部入力

外部の Google BigQuery SQLやジョブ使用する場合は、外部入力として.zipファイルに追加することができます。 .zipファイルの構造をプロジェクトおよびデータ・セットを表すサブフォルダーとして編成できます。 スクリプトがスキャンされると、選択したカタログまたはプロジェクト内の各プロジェクトおよびデータ・セットの下に追加されます。 .zipファイルは以下のような構造になっている：

<project_id>
   <dataset_name>
      <script_name.sql>
<project_id>
        <script_name.sql>
jobs
       <job_name.json>
<script_name.sql>
replace.csv
connectionsConfiguration.prm

replace.csv ファイルには、.zip ファイルに追加されるスクリプトのプレースホルダー置換が含まれています。 フォーマットの詳細については、 プレースホルダーの置換を参照のこと。

connectionsConfiguration.prm ファイルには、連携クエリで使用されるデータベース接続リソース定義が含まれます。 ファイルは以下のような構造になっている：

[{Shortcut_Name}] Type={connection_type}
Connection_String={connection_string}
Server_Name={server_name}
Database_Name={database_name}
Schema_Name={schema_name}
User_Name={user_name}