Intégrer Kafka à ClickHouse

Introduction à Kafka avec ClickHouse

Apache Kafka est une plateforme open source distribuée de streaming d’événements, utilisée par des milliers d’entreprises pour des pipelines de données hautes performances, l’analytique en temps réel, l’intégration de données et des applications critiques. ClickHouse propose plusieurs options pour lire à partir de et écrire dans Kafka et d’autres brokers compatibles avec l’API Kafka (par exemple, Redpanda, Amazon MSK).

​

Options disponibles

Le choix de l’option la plus adaptée à votre cas d’usage dépend de plusieurs facteurs, notamment du type de déploiement de ClickHouse, du sens du flux de données et des exigences opérationnelles.

Option	Type de déploiement	Entièrement géré	Kafka vers ClickHouse	ClickHouse vers Kafka
ClickPipes for Kafka	Cloud, BYOC (bientôt disponible !)	✅	✅
Kafka Connect Sink	Cloud, BYOC, Auto-hébergé		✅
moteur de table Kafka	Cloud, BYOC, Auto-hébergé		✅	✅

Pour une comparaison plus détaillée de ces options, consultez Choisir une option.

​

ClickPipes for Kafka

ClickPipes est une plateforme d’intégration managée qui simplifie l’ingestion de données depuis un large éventail de sources au point de la réduire à quelques clics. Entièrement gérée et conçue spécifiquement pour les charges de travail de production, ClickPipes réduit considérablement les coûts d’infrastructure et d’exploitation, en évitant le recours à des outils externes de streaming de données et d’ETL.

C’est l’option recommandée si vous utilisez ClickHouse Cloud. ClickPipes est entièrement géré et conçu spécifiquement pour offrir les meilleures performances dans les environnements Cloud.

​

Fonctionnalités principales

• Optimisé pour ClickHouse Cloud, avec des performances ultra-rapides
• Scalabilité horizontale et verticale pour les charges de travail à haut débit
• Tolérance aux pannes intégrée avec des répliques configurables et des nouvelles tentatives automatiques
• Déploiement et gestion via l’interface de ClickHouse Cloud, l’Open API ou Terraform
• Sécurité de niveau entreprise avec prise en charge de l’autorisation cloud-native (IAM) et de la connectivité privée (PrivateLink)
• Prend en charge un large éventail de sources de données, notamment Confluent Cloud, Amazon MSK, Redpanda Cloud et Azure Event Hubs
• Prend en charge la plupart des formats de sérialisation courants (JSON, Avro, Protobuf)

​

Prise en main

Pour commencer à utiliser ClickPipes for Kafka, consultez la documentation de référence ou accédez à l’onglet Data Sources dans l’interface de ClickHouse Cloud.

​

Kafka Connect Sink

Kafka Connect est un framework open-source qui sert de hub de données centralisé pour faciliter l’intégration de données entre Kafka et d’autres systèmes de données. Le connector ClickHouse Kafka Connect Sink offre une option évolutive et hautement configurable pour lire des données depuis Apache Kafka et d’autres brokers compatibles avec l’API Kafka.

Il s’agit de l’option recommandée si vous recherchez une grande flexibilité de configuration ou si vous utilisez déjà Kafka Connect.

​

Fonctionnalités principales

• Peut être configuré pour garantir un traitement exactly-once
• Prend en charge les formats de sérialisation les plus courants (JSON, Avro, Protobuf)
• Testé en continu avec ClickHouse Cloud

​

Prise en main

Pour bien démarrer avec ClickHouse Kafka Connect Sink, consultez la documentation de référence.

​

Moteur de table Kafka

Le moteur de table Kafka peut être utilisé pour lire des données depuis Apache Kafka et d’autres brokers compatibles avec l’API Kafka, ainsi que pour y écrire des données. Cette option est incluse dans la version open-source de ClickHouse et est disponible pour tous les types de déploiement.

Il s’agit de l’option recommandée si vous autohébergez ClickHouse et recherchez une solution simple à mettre en œuvre, ou si vous devez écrire des données dans Kafka.

​

Fonctionnalités principales

• Peut être utilisé pour lire et écrire des données
• Inclus dans la version open source de ClickHouse
• Prend en charge les formats de sérialisation les plus courants (JSON, Avro, Protobuf)

​

Premiers pas

Pour bien démarrer avec le moteur de table Kafka, consultez la documentation de référence.

​

Choisir une option

Produit	Points forts	Points faibles
ClickPipes for Kafka	• Architecture évolutive pour un débit élevé et une faible latence • Supervision intégrée et gestion des schémas • Connexions via réseau privé (avec PrivateLink) • Prend en charge l’authentification SSL/TLS et l’autorisation IAM • Prend en charge la configuration programmatique (Terraform, points de terminaison de l’API)	• Ne prend pas en charge l’envoi de données vers Kafka • Sémantique d’au moins une fois
Kafka Connect Sink	• Sémantique d’exactement une fois • Permet un contrôle fin de la transformation des données, du traitement par lots et de la gestion des erreurs • Peut être déployé dans des réseaux privés • Permet une réplication en temps réel depuis des bases de données qui ne sont pas encore prises en charge dans ClickPipes via Debezium	• Ne prend pas en charge l’envoi de données vers Kafka • Configuration et maintenance complexes sur le plan opérationnel • Nécessite une expertise de Kafka et de Kafka Connect
moteur de table Kafka	• Prend en charge l’envoi de données vers Kafka • Simple à mettre en place sur le plan opérationnel	• Sémantique d’au moins une fois • Mise à l’échelle horizontale limitée pour les consommateurs. Ne peut pas être mise à l’échelle indépendamment du serveur ClickHouse • Options limitées pour la gestion des erreurs et le débogage • Nécessite une expertise Kafka

​

Autres options

• Confluent Cloud - Confluent Platform permet de téléverser et d’exécuter ClickHouse Connector Sink sur Confluent Cloud, ou d’utiliser HTTP Sink Connector for Confluent Platform, qui intègre Apache Kafka à une API via HTTP ou HTTPS.

• Vector - Vector est un pipeline de données indépendant des fournisseurs. Sa capacité à lire les données depuis Kafka et à envoyer des événements vers ClickHouse en fait une option d’intégration robuste.

• JDBC Connect Sink - Le connector JDBC Sink de Kafka Connect vous permet d’exporter des données depuis des topics Kafka vers n’importe quelle base de données relationnelle disposant d’un JDBC driver.

• Code personnalisé - Du code personnalisé utilisant Kafka et les bibliothèques clientes de ClickHouse peut convenir lorsque des traitements personnalisés des événements sont nécessaires.