要在 Google BigQuery中访问数据,请为其创建连接资产。
Google BigQuery 是一个完全受管的无服务器数据仓库,支持对 PB 级数据进行可扩展分析。
创建与 Google BigQuery 的连接
要创建连接资产,请选择认证方法。 选项包括使用或不使用工作负载身份联合的认证。
没有工作负载身份联合
- 帐户密钥 (完整 JSON 片段): Google 服务帐户密钥 JSON 文件的内容
- 客户机标识,客户机密钥,访问令牌和刷新令牌
使用工作负载身份联合
使用外部身份提供者 (IdP) 进行认证。 外部身份提供者使用 Identity and Access Management (IAM) 而不是服务帐户密钥。 IAM 提供了更高的安全性和集中管理。 您可以将工作负载身份联合认证与访问令牌或令牌 URL 配合使用。
您可以配置Google BigQuery连接,以便与任何符合OpenIDConnect (OIDC) 规范并满足准备外部IdP 中所述Google Cloud要求的身份提供商进行工作量身份联合。 要求包括:
- 身份提供者必须支持 OpenID Connect 1.0。
- 身份提供者的 OIDC 元数据和 JWKS 端点必须可通过因特网公开访问。 Google Cloud 使用这些端点来下载身份提供者的密钥集,并使用该密钥集来验证令牌。
- 已配置身份提供者,以便您的工作负载可以获取满足以下条件的标识令牌:
- 令牌使用 RS256 或 ES256 算法进行签名。
- 令牌包含 aud 声明。
有关Amazon Web ServicesAWS) 和Microsoft Azure 的工作负载身份联合配置步骤示例,请参阅 .NET Framework 3.0。
具有访问令牌连接的工作负载身份联合详细信息
访问令牌: 来自身份提供者的访问令牌,用于连接到 BigQuery。
安全性令牌服务受众: 包含项目标识,池标识和提供者标识的安全性令牌服务受众。 使用以下格式:
//iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/POOL_ID/providers/PROVIDER_ID
有关更多信息,请参阅使用 REST API 验证工作负载。
服务帐户电子邮件: 要模拟的 Google 服务帐户的电子邮件地址。 有关详细信息,请参阅为外部工作负载创建服务帐户。
服务帐户令牌生存期 (可选): 服务帐户访问令牌的生存期 (以秒计)。 服务帐户访问令牌的缺省生存期为 1 小时。 更多信息,请参阅URL 源凭证。
令牌格式: 包含令牌的 JSON 响应中的字段名称的 "令牌" 字段名称的文本或 JSON。
令牌字段名称:JSON 响应中包含令牌的字段的名称。 仅当 令牌格式 为 JSON 时,才会显示此字段。
令牌类型: AWS 签名版本 4 请求, Google OAuth 2.0 访问令牌,标识令牌, JSON Web 令牌 (JWT) 或 SAML 2.0。
具有令牌 URL 连接的工作负载身份联合详细信息
安全性令牌服务受众: 包含项目标识,池标识和提供者标识的安全性令牌服务受众。 使用以下格式:
//iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/POOL_ID/providers/PROVIDER_ID
有关详细信息,请参阅使用 REST API 验证工作负载。
服务帐户电子邮件: 要模拟的 Google 服务帐户的电子邮件地址。 有关详细信息,请参阅为外部工作负载创建服务帐户。
服务帐户令牌生存期 (可选): 服务帐户访问令牌的生存期 (以秒计)。 服务帐户访问令牌的缺省生存期为 1 小时。 更多信息,请参阅URL 源凭证。
令牌 URL: 用于检索令牌的 URL。
HTTP 方法: 用于令牌 URL 请求的 HTTP 方法 :GET , POST 或 PUT。
请求主体 (对于 POST 或 PUT 方法): 用于检索令牌的 HTTP 请求的主体。
HTTP 头:JSON 格式或作为 JSON 主体的令牌 URL 请求的 HTTP 头。 使用格式:
"Key1"="Value1","Key2"="Value2"
。令牌格式: 包含令牌的 JSON 响应中的字段名称的 "令牌" 字段名称的文本或 JSON。
令牌字段名称:JSON 响应中包含令牌的字段的名称。 仅当 令牌格式 为 JSON 时,才会显示此字段。
令牌类型: AWS 签名版本 4 请求, Google OAuth 2.0 访问令牌,标识令牌, JSON Web 令牌 (JWT) 或 SAML 2.0。
服务器代理 (可选)
选择 服务器代理 以通过 HTTPS 代理服务器访问 Google BigQuery 数据源。 根据其设置,代理服务器可以提供负载均衡,提高安全性和隐私性。 代理服务器设置独立于认证凭证以及个人或共享凭证选择。
- 代理主机:HTTPS 代理服务器的主机名或 IP 地址。 例如,
proxy.example.com
或192.0.2.0
。 - 代理端口: 用于连接到 HTTPS 代理服务器的端口号。 例如,
8080
或8443
。 - 代理用户名 和 代理密码。
其他属性
项目标识 (可选) Google 项目的标识。
输出 JSON 字符串格式: 复杂数据类型 (例如,嵌套或重复) 的输出值的 JSON 字符串格式。
- 漂亮: 在将值发送到输出之前对其进行格式化。 使用此选项可直观地读取几行。
- 原始: (缺省值) 无格式设置。 使用此选项可获得最佳性能。
元数据发现: 此设置确定在使用此连接添加资产时是否检索对表或视图 (同义词) 之类的模式对象的列 (备注) 和别名的注释。
许可权
需要以下 BigQuery 许可权才能连接 Google BigQuery:
bigquery.job.create
bigquery.tables.get
bigquery.tables.getData
使用以下三种方法之一来获取这些许可权:
- 使用预定义的 BigQuery Cloud IAM 角色
bigquery.admin
,其中包含这些许可权; - 使用两个角色的组合,一个角色来自下表中的每一列; 或者
- 创建定制角色。 请参阅创建和管理自定义角色。
第一个角色 | 第二个角色 |
---|---|
bigquery.dataEditor |
bigquery.jobUser |
bigquery.dataOwner |
bigquery.user |
bigquery.dataViewer |
有关Google BigQuery 中权限和角色的更多信息,请参阅预定义角色和权限。
根据您在平台中的位置选择创建连接的方法
- 在项目中
- 单击 资产> 新资产> 连接到数据源。 请参阅将连接添加到项目。
- 在目录中
- 单击 添加到目录> 连接。 请参阅将连接资产添加到目录中。
- 在部署空间中
- 单击 导入资产> 数据访问> 连接。 请参阅 向部署空间添加数据资产。
- 在平台资产目录中
- 单击新建连接。 请参阅添加平台连接。
下一步:从连接添加数据资产
请参阅通过项目中的连接添加数据。
请参阅从目录中的连接添加数据。
您可以在何处使用此连接
您可以在以下工作空间和工具中使用 Google BigQuery 连接:
项目
- 数据质量规则 (IBM Knowledge Catalog)
- Data Refinerywatsonx.aiStudio 或IBM Knowledge Catalog
- DataStage (DataStage 服务)。 请参阅 连接到 DataStage中的数据源。
- 元数据扩充 (IBM Knowledge Catalog)
- Metadata import (IBM Knowledge Catalog)
- SPSS Modelerwatsonx.aiStudio 服务)
目录
Platform assets catalog
其他目录 (IBM Knowledge Catalog)
- Data Virtualization服务
- 您可以从 Data Virtualization 连接到此数据源。 这种连接在Data Virtualization中需要特别考虑。 请参阅 Data Virtualization中连接Google BigQuery。
Google BigQuery 设置
了解更多信息
父主题: 支持的连接