Pour accéder à vos données avec Apache Kafka, créez un actif de connexion pour celui-ci.
Apache Kafka est une plateforme de diffusion en continu d'événements distribués. Connectez-vous à un serveur de traitement en temps réel Apache Kafka pour écrire et lire les flux d'événements depuis et vers les rubriques.
Versions prises en charge
Apache Kafka versions 0.11 - 2.x
Création d'une connexion vers Apache Kafka
Pour créer l'actif de connexion, vous avez besoin de ces détails de connexion.
Kafka: nom d'hôte et numéro de port du serveur Kafka . Utilisez le format suivant: hostname:port-number
. Pour vous connecter à un cluster Kafka , séparez les valeurs par des virgules: hostname1:port-number1,hostname2:port-number2,hostname3:port-number3
. Si vous vous connectez à un cluster, la connexion utilise tous les serveurs, quels que soient les serveurs spécifiés pour l'amorçage. Etant donné que ces serveurs sont utilisés pour la connexion initiale afin de reconnaître l'intégralité de l'appartenance à un cluster, qui peut changer de manière dynamique, il n'est pas nécessaire que cette liste contienne l'ensemble complet des serveurs. Toutefois, si le cluster Kafka comporte trois hôtes ou moins, incluez tous les hôtes dans cette liste pour éviter la perte de données.
Connexion sécurisée
Sélectionnez le protocole d'authentification réseau qui est configuré sur le serveur Kafka . Aucun est la valeur par défaut. Voici les autres sélections et leurs propriétés:
SASL OAUTHBEARER
Sélectionnez OAuth 2.0
- URL du serveur: URL de noeud final de jeton. Exemple :
https://example.com/oauth2/default/v1/token
. - ID client: ID client OAuth.
- Secret client: le secret du client OAuth
- Portée Portée facultative à référencer dans l'appel au serveur OAuth.
- Propriétés supplémentaires: Options de configuration OAuth supplémentaires. Entrez en tant que paires
key=value
. La valeur de cette propriété multiligne doit être conforme aux exigences de la classe Java Properties. - Certificats de magasin de clés de confiance: certificats de confiance au format PEM. Seuls les certificats X.509 sont pris en charge.
SASL_Plain
Nom principal d'utilisateur: utilisateur authentifié sur le serveur ou le cluster Kafka .
Mot de passe: mot de passe associé au nom d'utilisateur principal.
SASL_SSL
Nom principal d'utilisateur: utilisateur authentifié sur le serveur ou le cluster Kafka .
Mot de passe: mot de passe associé au nom d'utilisateur principal.
Certificats de magasin de clés de confiance: certificats de magasin de clés de confiance au format PEM. Seuls les certificats X.509 sont pris en charge.
SCRAM-SHA-256 ou SCRAM-SHA-512
Nom principal d'utilisateur: utilisateur authentifié sur le serveur ou le cluster Kafka .
Mot de passe: mot de passe associé au nom d'utilisateur principal.
Certificats de magasin de clés de confiance: certificats de magasin de clés de confiance au format PEM. Seuls les certificats X.509 sont pris en charge.
SSL
Certificats de magasin de clés de confiance: certificats de magasin de clés de confiance au format PEM. Seuls les certificats X.509 sont pris en charge.
Clé: clé privée au format PEM. La clé doit utiliser la syntaxe PKCS #8 .
Chaîne de certificats de clé: chaîne de certificats pour la clé privée au format PEM. Seuls les certificats X.509 sont pris en charge.
Mot de passe de la clé: cette valeur est obligatoire si la clé est chiffrée.
Format de message
Un registre de schéma est un logiciel tiers qui gère les messages et mappe les schémas aux rubriques afin que les producteurs sachent quelles rubriques acceptent quels types (schémas) de messages et que les consommateurs sachent comment lire et analyser les messages d'une rubrique. Si vous sélectionnez Utiliser le registre de schéma pour le format de message, vous pouvez sélectionner ces détails supplémentaires pour vous connecter de manière sécurisée au service de registre de schéma.
Prérequis
Configurez le registre des schémas pour votre serveur Kafka avec Confluent (les versions 6.x et 7.x de Confluent sont prises en charge) ou avec IBM Event Streams.
URL du registre de schéma: URL du service de registre de schéma.
Authentification
Sélectionnez la méthode d'authentification auprès du service de registre de schéma. Aucun est la valeur par défaut. Voici les autres sélections et leurs propriétés:
Utiliser les données d'identification de l'utilisateur SASL du serveur Kafka: Vous pouvez choisir cette option si vous avez entré des propriétés pour SASL_Plain ou SASL_SSL pour la connexion sécurisée au serveur Kafka . Le nom d'utilisateur et le mot de passe des paramètres de sécurité SASL seront utilisés pour l'authentification auprès du service de registre de schéma.
Données d'identification de l'utilisateur: nom d'utilisateur et mot de passe du service de registre de schéma.
Connexion sécurisée
Sélectionnez le protocole d'authentification réseau sécurisé pour le service de registre de schéma. Aucun est la valeur par défaut. Voici les autres sélections et leurs propriétés:
Utiliser les données d'identification de l'utilisateur SSL du serveur Kafka: vous pouvez choisir cette sélection si vous avez entré des propriétés pour SSL pour la connexion sécurisée au serveur Kafka . La configuration des certificats à partir de la connexion au serveur Kafka sera utilisée pour la connexion sécurisée au service de registre de schéma.
SSL
- Certificats de magasin de clés de confiance: certificats de magasin de clés de confiance au format PEM. Seuls les certificats X.509 sont pris en charge.
- Clé: clé privée au format PEM. La clé doit utiliser la syntaxe PKCS #8 .
- Chaîne de certificats de clé: chaîne de certificats pour la clé privée au format PEM. Seuls les certificats X.509 sont pris en charge.
- Mot de passe de la clé: Cette valeur est obligatoire si la clé est chiffrée.
Type de registre de schéma
Sélectionnez le type de registre des schémas :
- Confluent
- IBM Event Streams (API compatible avec Confluent)
Choisissez la méthode de création d'une connexion basée sur l'emplacement dans la plateforme.
Dans un projet
Cliquez sur Actifs > Nouvel actif > Connexion à une source de données. Voir Ajout d'une connexion à un projet.
Dans un catalogue
Cliquez sur Ajouter au catalogue > Connexion. Voir Ajout d'un actif de connexion à un catalogue.
Dans le catalogue des actifs Platform assets catalog
Cliquez sur Nouvelle connexion. Voir Ajout de connexions de plateforme.
Etape suivante : ajout d'actifs de données à partir de la connexion
Où vous pouvez utiliser cette connexion
Vous pouvez utiliser la connexion Apache Kafka dans les espaces de travail et les outils suivants :
Projets
- Data Replication (serviceData Replication ). Vous pouvez répliquer des données d'autres bases de données vers Apache Kafka à l'aide de laréplication de données. Voir Réplication des données Apache Kafka.
- DataStage (serviceDataStage ). Voir Connexion à une source de données dans DataStage.
Catalogs
Platform assets catalog
Autres catalogues (IBM Knowledge Catalog)
Remarque :La prévisualisation, le profil et le masquage ne sont pas certifiés pour cette connexion dans IBM Knowledge Catalog.
Configuration d'Apache Kafka
En savoir plus
- Documentation Kafka
- Vue d'ensemble du registre des schémas de Confluent
- Utilisation du registre des schémas de Event Streams
Rubrique parent : Connexions prises en charge