Apache Kafkaを使用してデータにアクセスするには、そのデータ用の接続資産を作成します。
Apache Kafka は、分散イベント・ストリーミング・プラットフォームです。 Apache Kafka リアルタイム処理サーバーに接続して、トピックとの間でイベントのストリームの書き込みと読み取りを行います。
サポートされるバージョン
Apache Kafka バージョン 0.11 - 2.x
Apache Kafka への接続を作成します
接続資産を作成するには、以下の接続の詳細が必要です。
Kafka サーバー・ホスト名: Kafka サーバーのホスト名とポート番号。 hostname:port-numberという形式を使用します。 Kafka クラスターに接続するには、値を hostname1:port-number1,hostname2:port-number2,hostname3:port-number3のようにコンマで区切ります。 クラスターに接続する場合、ブートストラッピング用に指定されたサーバーに関係なく、接続ではすべてのサーバーが使用されます。 これらのサーバーは、動的に変更される可能性があるフル・クラスター・メンバーシップをディスカバーするための初期接続に使用されるため、このリストにサーバーのフル・セットを含める必要はありません。 ただし、 Kafka クラスターに 3 つ以下のホストがある場合は、データ損失を防ぐために、すべてのホストをこのリストに含めてください。
セキュア接続
Kafka サーバーでセットアップされているネットワーク認証プロトコルを選択します。 「なし」 がデフォルトです。 その他の選択項目とそのプロパティーを以下に示します。
SASL OAUTHBEARER
「OAuth 2.0を選択します。
- サーバー URL: トークン・エンドポイント URL。 例:
https://example.com/oauth2/default/v1/token。 - クライアント ID: OAuth クライアント ID。
- クライアント・シークレット: OAuth クライアント・シークレット
- スコープ OAuth サーバーへの呼び出しで参照するオプションのスコープ。
- 追加プロパティー: 追加の OAuth 構成オプション。
key=valueペアとして入力します。 この複数行プロパティーの値は、Java プロパティー・クラスの要件に準拠している必要があります。 - トラストストア証明書: PEM 形式のトラステッド証明書。 X.509証明書のみがサポートされます。
SASL_Plain
ユーザー・プリンシパル名: Kafka サーバーまたはクラスター内の認証済みユーザー。
パスワード: ユーザー・プリンシパル名のパスワード。
SASL_SSL
ユーザー・プリンシパル名: Kafka サーバーまたはクラスター内の認証済みユーザー。
パスワード: ユーザー・プリンシパル名のパスワード。
トラストストア証明書: PEM 形式のトラストストア証明書。 X.509証明書のみがサポートされます。
SCRAM-SHA-256 または SCRAM-SHA-512
ユーザー・プリンシパル名: Kafka サーバーまたはクラスター内の認証済みユーザー。
パスワード: ユーザー・プリンシパル名のパスワード。
トラストストア証明書: PEM 形式のトラストストア証明書。 X.509証明書のみがサポートされます。
SSL
トラストストア証明書: PEM 形式のトラストストア証明書。 X.509証明書のみがサポートされます。
鍵: PEM 形式の秘密鍵。 鍵は PKCS #8 構文を使用する必要があります。
鍵証明書チェーン: PEM 形式の秘密鍵の証明書チェーン。 X.509証明書のみがサポートされます。
鍵パスワード: この値は、鍵が暗号化されている場合は必須です。
メッセージ形式
スキーマ・レジストリーは、メッセージを管理し、スキーマをトピックにマップするサード・パーティー・ソフトウェアです。これにより、プロデューサーは、メッセージのどのタイプ (スキーマ) を受け入れるかを認識し、コンシューマーはトピック内のメッセージの読み取りと構文解析の方法を知ることができます。 「メッセージ形式にスキーマ・レジストリーを使用」を選択した場合は、スキーマ・レジストリー・サービスに安全に接続するために、これらの追加の詳細を選択できます。
前提条件
Confluent(Confluent バージョン6.xと7.xをサポート) またはIBM Event Streams を使用して、Kafkaサーバーのスキーマ・レジストリをセットアップする。
スキーマ・レジストリー URL: スキーマ・レジストリー・サービスの URL。
認証
スキーマ・レジストリー・サービスに対する認証方式を選択します。 「なし」 がデフォルトです。 その他の選択項目とそのプロパティーを以下に示します。
Kafka サーバーの SASL ユーザー資格情報を使用します。 この選択は、 Kafka サーバーへのセキュア接続のために SASL_Plain または SASL_SSL のプロパティーを入力した場合に選択できます。 スキーマ・レジストリー・サービスに対する認証には、SASL セキュリティー設定のユーザー名とパスワードが使用されます。
ユーザー資格情報: スキーマ・レジストリー・サービスのユーザー名とパスワード。
セキュア接続
スキーマ・レジストリー・サービスに対するセキュア・ネットワーク認証プロトコルを選択します。 「なし」 がデフォルトです。 その他の選択項目とそのプロパティーを以下に示します。
Kafka サーバー SSL ユーザー資格情報の使用: Kafka サーバーへのセキュア接続の SSL のプロパティーを入力した場合は、この選択を選択できます。 スキーマ・レジストリー・サービスへのセキュア接続には、 Kafka サーバー接続からの証明書構成が使用されます。
SSL
- トラストストア証明書: PEM 形式のトラストストア証明書。 X.509証明書のみがサポートされます。
- 鍵: PEM 形式の秘密鍵。 鍵は PKCS #8 構文を使用する必要があります。
- 鍵証明書チェーン: PEM 形式の秘密鍵の証明書チェーン。 X.509証明書のみがサポートされます。
- 鍵パスワード: 鍵が暗号化されている場合、この値は必須です。
スキーマ・レジストリー・タイプ
スキーマ・レジストリー・タイプを選択する：
- Confluent
- IBM Event Streams (Confluent 互換 API)
プラットフォーム内の場所に基づいて接続を作成する方法を選択してください
プロジェクト内
「資産」>「新規資産」>「データ・ソースへの接続」をクリックします。 プロジェクトへの接続の追加を参照してください。
カタログ内
「カタログに追加」>「接続」をクリックします。 カタログへの接続資産の追加を参照してください。
Platform assets catalog
で、 「新規接続」をクリックします。 プラットフォーム接続の追加を参照してください。
次のステップ: 接続からデータ資産を追加する
- プロジェクトでの接続からのデータの追加を参照してください。
- カタログ内の接続からのデータの追加を参照してください。
この接続を使用できる場所
Apache Kafka 接続は、以下のワークスペースおよびツールで使用できます：
プロジェクト
- Data Replication (Data Replication サービス)。 Data Replicationを使用して、他のデータベースから Apache Kafka にデータを複製できます。 Apache Kafka データの複製を参照してください。
- DataStage (DataStage サービス)。 DataStageでのデータ・ソースへの接続を参照してください。
カタログ
Platform assets catalog
その他のカタログ (IBM Knowledge Catalog)
注:プレビュー、プロファイル、およびマスキングは、IBM Knowledge Catalog のこの接続では認証されていません。
Apache Kafka のセットアップ
もっと見る
親トピック: サポートされた接続