要使用 Apache Kafka访问数据,请为其创建连接资产。
Apache Kafka 是分布式事件流平台。 连接到 Apache Kafka 实时处理服务器,以在主题中写入和读取事件流。
支持的版本
Apache Kafka 版本 0.11 - 2.x
创建与 Apache Kafka 的连接
要创建连接资产,您需要这些连接详细信息。
Kafka 服务器主机名: Kafka 服务器的主机名和端口号。 请使用以下格式: hostname:port-number
。 要连接到 Kafka 集群,请使用逗号分隔值: hostname1:port-number1,hostname2:port-number2,hostname3:port-number3
。 如果您连接到集群,那么该连接将使用所有服务器,而不考虑为引导程序指定哪些服务器。 由于这些服务器用于初始连接以发现可动态更改的完整集群成员资格,因此此列表不需要包含完整的服务器集。 但是,如果 Kafka 集群具有三个或更少的主机,请将所有主机包括在此列表中,以防止数据丢失。
安全连接
选择在 Kafka 服务器上设置的网络认证协议。 None 是缺省值。 以下是其他选择及其属性:
SASL OAUTHBEARER
选择 OAuth 2.0
- 服务器 URL: 令牌端点 URL。 示例:
https://example.com/oauth2/default/v1/token
。 - 客户机标识:OAuth 客户机标识。
- 客户机密钥:OAuth 客户机密钥
- 作用域 要在对 OAuth 服务器的调用中引用的可选作用域。
- 其他属性: 其他 OAuth 配置选项。 输入为
key=value
对。 此多行属性的值必须符合 Java 属性类要求。 - 信任库证书:PEM 格式的可信证书。 仅支持 X.509 证书。
SASL_Plain
用户主体名称: Kafka 服务器或集群中的已认证用户。
密码: 用户主体名称的密码。
SASL_SSL
用户主体名称: Kafka 服务器或集群中的已认证用户。
密码: 用户主体名称的密码。
信任库证书: PEM 格式的信任库证书。 仅支持 X.509 证书。
SCRAM-SHA-256 或 SCRAM-SHA-512
用户主体名称: Kafka 服务器或集群中的已认证用户。
密码: 用户主体名称的密码。
信任库证书: PEM 格式的信任库证书。 仅支持 X.509 证书。
SSL
信任库证书: PEM 格式的信任库证书。 仅支持 X.509 证书。
密钥:PEM 格式的专用密钥。 密钥必须使用 PKCS #8 语法。
密钥证书链: PEM 格式的专用密钥的证书链。 仅支持 X.509 证书。
密钥密码: 如果密钥已加密,那么此值是必需的。
消息格式
模式注册表是第三方软件,用于管理消息并将模式映射到主题,以便生产者知道哪些主题正在接受哪些类型 (模式) 的消息,而使用者知道如何读取和解析主题中的消息。 如果选择 将模式注册表用于消息格式,那么可以选择这些其他详细信息以安全地连接到模式注册表服务。
先决条件
Set up the schema registry for your Kafka server with 汇合 (Confluent versions 6.x and 7.x are supported) or with IBM Event Streams.
模式注册表 URL: 模式注册表服务的 URL。
认证
选择模式注册表服务的认证方法。 None 是缺省值。 以下是其他选择及其属性:
使用 Kafka 服务器 SASL 用户凭证: 如果输入了 SASL_Plain 或 SASL_SSL 的属性以用于与 Kafka 服务器的安全连接,那么可以选择此选项。 SSL 安全设置的用户名和密码将用于向模式注册表服务进行认证。
用户凭证: 模式注册表服务的用户名和密码。
安全连接
选择模式注册表服务的安全网络认证协议。 None 是缺省值。 以下是其他选择及其属性:
使用 Kafka 服务器 SSL 用户凭证: 如果输入了与 Kafka 服务器的安全连接的 SSL 属性,那么可以选择此选项。 来自 Kafka 服务器连接的证书配置将用于与模式注册表服务的安全连接。
SSL
- 信任库证书: PEM 格式的信任库证书。 仅支持 X.509 证书。
- 密钥:PEM 格式的专用密钥。 密钥必须使用 PKCS #8 语法。
- 密钥证书链: PEM 格式的专用密钥的证书链。 仅支持 X.509 证书。
- 密钥密码: 如果密钥已加密,那么此值是必需的。
模式注册表类型
选择模式注册表类型:
- Confluent
- IBM Event Streams(兼容融合性的 API)
根据您在平台中的位置选择创建连接的方法
在项目中
单击 资产> 新资产> 连接到数据源。 请参阅将连接添加到项目。
在目录中
单击 添加到目录> 连接。 请参阅将连接资产添加到目录中。
在 Platform assets catalog
中,单击 新建连接。 请参阅添加平台连接。
下一步:从连接添加数据资产
- 请参阅通过项目中的连接添加数据。
- 请参阅从目录中的连接添加数据。
您可以在何处使用此连接
您可以在以下工作空间和工具中使用 Apache Kafka 连接:
项目
- Data Replication (Data Replication 服务)。 您可以使用 Data Replication将数据从其他数据库复制到 Apache Kafka 。 请参阅 复制 Apache Kafka 数据。
- DataStage (DataStage 服务)。 请参阅 连接到 DataStage中的数据源。
目录
Platform assets catalog
其他目录 (IBM Knowledge Catalog)
注:在 IBM Knowledge Catalog中,此连接未认证预览、配置文件和屏蔽。
Apache Kafka 设置
了解更多信息
父主题: 支持的连接