ClickHouse Cloud 통합

외부 데이터 소스를 ClickHouse Cloud에 손쉽게 연결합니다.

​

소개

ClickPipes는 몇 번의 클릭만으로 다양한 데이터 소스에서 데이터를 수집할 수 있도록 해주는 관리형 통합 플랫폼입니다. 가장 까다로운 워크로드를 위해 설계된 ClickPipes의 견고하고 확장 가능한 아키텍처는 일관된 성능과 안정성을 보장합니다. ClickPipes는 장기적인 스트리밍 수집은 물론, 일회성 데이터 적재 작업에도 사용할 수 있습니다.

ClickPipes는 ClickPipes UI를 사용해 수동으로 배포하고 관리할 수 있으며, OpenAPI 및 Terraform을 사용해 프로그래밍 방식으로도 배포하고 관리할 수 있습니다.

​

지원되는 데이터 소스

이름	유형	상태	설명
Apache Kafka	스트리밍	안정	ClickPipes를 구성하고 Apache Kafka의 스트리밍 데이터를 ClickHouse Cloud로 수집하세요.
Confluent Cloud	스트리밍	안정	직접 통합을 통해 Confluent와 ClickHouse Cloud의 강력한 시너지를 활용하십시오.
Redpanda	스트리밍	안정	ClickPipes를 구성하고 Redpanda의 스트리밍 데이터를 ClickHouse Cloud로 수집하기 시작하십시오.
AWS MSK	스트리밍	안정	ClickPipes를 구성하고 AWS MSK의 스트리밍 데이터를 ClickHouse Cloud로 수집하기 시작합니다.
Azure Event Hubs	스트리밍	안정	ClickPipes를 구성하고 Azure Event Hubs의 스트리밍 데이터를 ClickHouse Cloud로 수집하세요. 자세한 내용은 Azure Event Hubs FAQ를 참조하십시오.
WarpStream	스트리밍	안정	ClickPipes를 구성하고 WarpStream의 스트리밍 데이터를 ClickHouse Cloud로 수집하기 시작합니다.
Amazon Kinesis	스트리밍	안정	ClickPipes를 구성하여 Amazon Kinesis의 스트리밍 데이터를 ClickHouse Cloud로 수집하세요.
GCP Pub/Sub	스트리밍	비공개 프리뷰	ClickPipes를 구성하여 Google Cloud Pub/Sub의 스트리밍 데이터를 ClickHouse Cloud로 수집하세요.
Amazon S3	객체 스토리지	안정	객체 스토리지에서 대량의 데이터를 수집하도록 ClickPipes를 구성합니다.
Google Cloud Storage	객체 스토리지	안정	객체 스토리지에서 대량의 데이터를 수집하도록 ClickPipes를 구성합니다.
DigitalOcean Spaces	객체 스토리지	안정	객체 스토리지에서 대용량 데이터를 수집하도록 ClickPipes를 구성합니다.
Azure Blob Storage	객체 스토리지	안정	객체 스토리지에서 대용량 데이터를 수집하도록 ClickPipes를 구성합니다.
Postgres	DBMS	안정	ClickPipes를 구성하고 Postgres 데이터를 ClickHouse Cloud로 수집하기 시작합니다.
MySQL	DBMS	공개 베타	ClickPipes를 구성하고 MySQL 데이터를 ClickHouse Cloud로 수집하기 시작합니다.
MongoDB	DBMS	비공개 프리뷰	ClickPipes를 구성하고 MongoDB에서 ClickHouse Cloud로 데이터 수집을 시작하십시오.

더 많은 커넥터가 ClickPipes에 추가될 예정입니다. 자세한 내용은 문의하기에서 확인할 수 있습니다.

​

AWS IAM 데이터베이스 인증

ClickPipes는 Amazon RDS 및 Aurora에서 AWS IAM 데이터베이스 인증을 지원합니다. 설정 방법은 데이터베이스 엔진과 AWS 서비스에 따라 다르므로, 사용 중인 데이터베이스에 맞는 소스 설정 가이드를 선택하십시오.

데이터베이스 엔진	AWS 서비스	설정 가이드
PostgreSQL	Amazon RDS	PostgreSQL용 RDS
PostgreSQL	Amazon Aurora	Aurora PostgreSQL-Compatible Edition
MySQL	Amazon RDS	MySQL용 RDS
MySQL	Amazon Aurora	Aurora MySQL-Compatible Edition
MariaDB	Amazon RDS	MariaDB용 RDS

​

정적 IP 목록

ClickPipes 정적 NAT IP 주소 목록은 ClickPipes 네트워킹 문서로 옮겨졌습니다.

​

ClickHouse 설정 조정

ClickHouse Cloud는 대부분의 경우에 적절한 기본값을 제공합니다. 그러나 ClickPipes 대상 테이블에 일부 ClickHouse 설정을 조정해야 한다면, ClickPipes 전용 역할을 사용하는 것이 가장 유연한 방법입니다. 단계:

1. 사용자 지정 역할 CREATE ROLE my_clickpipes_role SETTINGS ...을 생성합니다. 자세한 내용은 CREATE ROLE 구문을 참조하십시오.
2. ClickPipes를 생성할 때 Details and Settings 단계에서 ClickPipes 사용자에 사용자 지정 역할을 추가합니다.

​

ClickPipes 고급 설정 조정

ClickPipes는 대부분의 사용 사례에 적합한 기본 설정을 제공합니다. 추가적인 세부 조정이 필요한 경우 다음 설정을 조정할 수 있습니다:

​

객체 스토리지 ClickPipes

Setting	Default value	Description
Max insert bytes	10 GB	단일 삽입 배치에서 처리할 바이트 수입니다.
Max file count	100	단일 삽입 배치에서 처리할 수 있는 최대 파일 수입니다.
Max threads	auto(3)	파일 처리를 위한 최대 동시 스레드 수입니다.
Max insert threads	1	파일 처리를 위한 최대 동시 삽입 스레드 수입니다.
Min insert block size bytes	1 GB	테이블에 삽입할 수 있는 블록의 최소 바이트 크기입니다.
Max download threads	4	최대 동시 다운로드 스레드 수입니다.
Object storage polling interval	30 s	데이터를 ClickHouse 클러스터에 삽입하기 전 대기하는 최대 주기를 설정합니다.
Parallel distributed insert select	2	병렬 분산 insert select 설정입니다.
Parallel view processing	false	attached 상태인 뷰로 푸시를 순차가 아닌 동시 방식으로 수행할지 여부입니다.
Use cluster function	true	여러 노드에서 파일을 병렬로 처리할지 여부입니다.

​

스트리밍 ClickPipes

설정	기본값	설명
Streaming max insert wait time	5 s	데이터를 ClickHouse 클러스터에 삽입하기 전까지 대기할 수 있는 최대 시간을 설정합니다.

​

오류 보고

ClickPipes는 수집 과정에서 발생한 오류를 오류 유형에 따라 두 개의 별도 테이블(table)에 저장합니다.

현재 이는 CDC 파이프(Postgres, MySQL, MongoDB)에는 적용되지 않으며, 운영 및 오류 로깅은 ClickHouse Cloud 콘솔에서 직접 확인할 수 있습니다.

​

레코드 오류

ClickPipes는 대상 테이블과 함께 <destination_table_name>_clickpipes_error 접미사가 붙은 테이블을 생성합니다. 이 테이블에는 형식이 잘못된 데이터나 스키마 불일치로 인해 발생한 모든 오류가 포함되며, 유효하지 않은 메시지 전체도 저장됩니다. 이 테이블의 TTL은 7일입니다.

​

시스템 오류

ClickPipe 작동과 관련된 오류는 system.clickpipes_log 테이블에 저장됩니다. 여기에는 ClickPipe 작동 중 발생하는 기타 모든 오류(네트워크, 연결 등)도 저장됩니다. 이 테이블의 TTL은 7일입니다.

ClickPipes가 15분 이내에 데이터 소스에 연결하지 못하거나 1시간 이내에 대상에 연결하지 못하면, ClickPipes 인스턴스는 중지되며 system error table에 적절한 메시지가 저장됩니다(ClickHouse 인스턴스를 사용할 수 있는 경우).

​

모니터링

콘솔 내 모니터링 외에도 ClickPipes는 스크레이핑을 위해 Prometheus-compatible endpoint에 메트릭을 노출합니다. 이러한 메트릭은 다른 ClickHouse Cloud 서비스 메트릭과 함께 게시되며, 기존 관측성 스택(예: Grafana, Datadog)에 ClickPipes 모니터링을 통합할 수 있습니다. 사용 가능한 전체 메트릭 목록은 Monitoring ClickPipes에서 확인하십시오.

​

FAQ

• ClickPipes란 무엇입니까?

  ClickPipes는 ClickHouse 서비스를 외부 데이터 소스, 특히 Kafka에 쉽게 연결할 수 있도록 해주는 ClickHouse Cloud 기능입니다. ClickPipes for Kafka를 사용하면 데이터를 ClickHouse에 지속적으로 손쉽게 적재하여 실시간 분석에 활용할 수 있습니다.

• ClickPipes는 데이터 변환을 지원합니까?

  예, ClickPipes는 DDL 생성 기능을 제공하여 기본적인 데이터 변환을 지원합니다. 이후에는 ClickHouse의 materialized view 기능을 활용해 데이터가 ClickHouse Cloud 서비스의 대상 테이블에 적재되는 과정에서 더 고급 변환을 적용할 수 있습니다.

• ClickPipes를 사용하면 추가 비용이 발생합니까?

  ClickPipes는 수집된 데이터와 컴퓨트의 2가지 차원으로 청구됩니다. 가격에 대한 자세한 내용은 이 페이지에서 확인할 수 있습니다. 또한 ClickPipes를 실행하면 다른 수집 워크로드와 마찬가지로 대상 ClickHouse Cloud 서비스에서 간접적인 컴퓨트 및 스토리지 비용이 발생할 수 있습니다.

• ClickPipes for Kafka를 사용할 때 오류나 장애를 처리할 방법이 있습니까?

  예, ClickPipes for Kafka는 네트워크 문제, 연결 문제 등 운영상 이슈로 인해 Kafka에서 데이터를 수집하지 못하는 경우 자동으로 재시도합니다. 데이터 형식이 잘못되었거나 스키마가 유효하지 않은 경우, ClickPipes는 해당 레코드를 record_error table에 저장하고 처리를 계속합니다.