Skip to main content

​
Часто задаваемые вопросы о Kafka ClickPipes

​
Общие сведения

ClickPipes использует выделенную архитектуру и Kafka Consumer API для чтения данных из указанного топика, а затем вставляет эти данные в таблицу ClickHouse в выбранном сервисе ClickHouse Cloud.
Движок таблицы Kafka — это встроенная возможность ClickHouse, реализующая «pull-модель», при которой сервер ClickHouse сам подключается к Kafka, получает события и затем записывает их локально.ClickPipes — это отдельный облачный сервис, работающий независимо от сервиса ClickHouse. Он подключается к Kafka (или другим источникам данных) и отправляет события в связанный сервис ClickHouse Cloud. Такая разделённая архитектура обеспечивает более высокую операционную гибкость, чёткое разграничение ответственности, масштабируемую ингестию, устойчивую обработку сбоев, расширяемость и многое другое.
Чтобы использовать ClickPipes for Kafka, вам потребуется работающий брокер Kafka и сервис ClickHouse Cloud с включённым ClickPipes. Также необходимо убедиться, что ClickHouse Cloud может получить доступ к вашему брокеру Kafka. Для этого можно разрешить удалённые подключения на стороне Kafka и добавить исходящие IP-адреса ClickHouse Cloud в белый список в конфигурации Kafka. Либо можно использовать AWS PrivateLink, чтобы подключить ClickPipes for Kafka к вашим брокерам Kafka.
Нет, ClickPipes for Kafka предназначен для чтения данных из топиков Kafka, а не для записи в них. Для записи данных в топик Kafka потребуется отдельный Kafka producer.
Да, если брокеры входят в один и тот же кворум, их можно настроить вместе, разделив с помощью ,.
Да, ClickPipes для стриминга можно масштабировать как горизонтально, так и вертикально. Горизонтальное масштабирование добавляет больше реплик для увеличения пропускной способности, а вертикальное увеличивает ресурсы (CPU и оперативную память), выделенные каждой реплике, чтобы обрабатывать более интенсивные рабочие нагрузки. Это можно настроить при создании ClickPipe или позже в разделе Settings -> Advanced Settings -> Scaling.
Интерфейс обнаружения топиков в ClickPipes по умолчанию отображает до 1 500 топиков. Если в вашем кластере Kafka больше 1 500 топиков, часть из них может не отображаться в выпадающем списке. Чтобы убедиться, что нужный топик существует, проверьте это напрямую с помощью Kafka-клиента с теми же учётными данными. Если топик существует и вам нужно увеличить лимит отображаемых топиков сверх 1 500, обратитесь в ClickHouse Support.

​
Azure Event Hubs

Нет. ClickPipes требует, чтобы для пространства имен Event Hubs был включен Kafka-интерфейс. Это доступно только на уровнях выше basic. Подробнее см. в документации Azure Event Hubs.
Нет. ClickPipes поддерживает реестры, совместимые с Confluent, и AWS Glue Schema Registry, но не Azure Schema Registry. Актуальную матрицу поддержки см. в разделе Реестры схем для Kafka ClickPipe. Если вам нужна поддержка Azure Schema Registry, свяжитесь с нашей командой.
Чтобы получать список топиков и читать события, политика общего доступа, передаваемая в ClickPipes, должна иметь как минимум право ‘Listen’.
Если ваш экземпляр ClickHouse находится в другом регионе или на другом континенте по сравнению с развертыванием Event Hubs, при онбординге ClickPipes могут возникать тайм-ауты, а при чтении данных из Event Hub — более высокая задержка. Мы рекомендуем развертывать ClickHouse Cloud и Azure Event Hubs в одном облачном регионе или в регионах, расположенных близко друг к другу, чтобы избежать снижения производительности.
Да. ClickPipes ожидает, что вы укажете номер порта для Kafka-интерфейса, и это должен быть :9093.
Да. Чтобы ограничить трафик к вашему экземпляру Event Hubs, добавьте задокументированные статические NAT IPs в правила IP-брандмауэра для пространства имен Event Hubs.
Подходят оба варианта. Мы настоятельно рекомендуем использовать политику общего доступа на уровне пространства имен, чтобы получать выборки из нескольких Event Hubs.
Последнее изменение 14 августа 2026 г.