Skip to main content

​
Kafka ClickPipes に関するよくある質問

​
一般

ClickPipes は、Kafka Consumer API を使用する専用アーキテクチャによって指定したトピックからデータを読み取り、そのデータを特定の ClickHouse Cloud サービス上の ClickHouse テーブルに挿入します。
Kafka Table engine は ClickHouse のコア機能であり、ClickHouse server 自身が Kafka に接続してイベントを取得し、ローカルに書き込む「プルモデル」を実装します。一方、ClickPipes は ClickHouse サービスとは独立して動作する別個の Cloud サービスです。Kafka (または他のデータソース) に接続し、関連付けられた ClickHouse Cloud サービスにイベントをプッシュします。この疎結合アーキテクチャにより、高い運用柔軟性、関心の明確な分離、スケーラブルなインジェスト、障害の適切な管理、拡張性などが実現されます。
Kafka 向け ClickPipes を使用するには、稼働中の Kafka ブローカーと、ClickPipes が有効になっている ClickHouse Cloud サービスが必要です。また、ClickHouse Cloud から Kafka ブローカーにアクセスできるようにする必要があります。これは、Kafka 側でリモート接続を許可し、Kafka の設定で ClickHouse Cloud Egress IP addresses を許可リストに追加することで実現できます。あるいは、AWS PrivateLink を使用して Kafka 向け ClickPipes を Kafka ブローカーに接続することもできます。
いいえ。Kafka 向け ClickPipes は Kafka トピックからデータを読み取るために設計されており、トピックへの書き込みには対応していません。Kafka トピックにデータを書き込むには、専用の Kafka producer を使用する必要があります。
はい。ブローカーが同じクォーラムに属している場合は、, 区切りでまとめて設定できます。
はい。streaming 向けの ClickPipes は、水平方向と垂直方向の両方にスケーリングできます。 水平スケーリングではスループットを高めるためにレプリカを追加し、垂直スケーリングでは、より高負荷の workload に対応するために各レプリカに割り当てるリソース (CPU と RAM) を増やします。 これは ClickPipe の作成時、または Settings -> Advanced Settings -> Scaling からいつでも設定できます。
ClickPipes のトピック検出 UI には、デフォルトで最大 1,500 件のトピックが表示されます。Kafka クラスターに 1,500 件を超えるトピックがある場合、一部のトピックはドロップダウンに表示されないことがあります。対象のトピックが存在することを確認するには、同じ認証情報を使用して Kafka クライアントから直接確認してください。存在が確認でき、一覧表示の上限を 1,500 件より大きくする必要がある場合は、ClickHouse Support にお問い合わせください。

​
Azure Event Hubs

いいえ。ClickPipes では、Event Hubs のネームスペースで Kafka surface が有効になっている必要があります。これは Basic より上位のティアでのみ利用できます。詳細については、Azure Event Hubs のドキュメントを参照してください。
いいえ。ClickPipes は Confluent 互換レジストリおよび AWS Glue Schema Registry をサポートしていますが、Azure Schema Registry はサポートしていません。現在のサポートマトリクスについては、Kafka ClickPipe のスキーマレジストリを参照してください。Azure Schema Registry のサポートが必要な場合は、弊社チームまでお問い合わせください。
トピックの一覧表示とイベントの受信を行うには、ClickPipes に付与する共有アクセス ポリシーに、少なくとも ‘Listen’ クレームが必要です。
ClickHouse インスタンスが Event Hubs のデプロイ先と異なるリージョンまたは大陸にある場合、ClickPipes のオンボーディング時にタイムアウトが発生したり、Event Hub からデータを取り込む際のレイテンシが高くなったりすることがあります。パフォーマンス オーバーヘッドを避けるため、ClickHouse Cloud と Azure Event Hubs は同じクラウドリージョン、または近接したリージョンにデプロイすることを推奨します。
はい。ClickPipes では Kafka surface のポート番号を含める必要があり、そのポートは :9093 です。
はい。Event Hubs インスタンスへのトラフィックを制限するには、ドキュメント化されている固定 NAT IP を Event Hubs ネームスペースの IP ファイアウォール ルールに追加してください。
どちらでも使用できます。複数の Event Hubs からサンプルを取得するには、ネームスペース レベル の共有アクセス ポリシーを使用することを強く推奨します。
最終更新日 2026年8月14日