BYOC 네트워크 보안

자체 클라우드 인프라에 ClickHouse를 배포합니다

​

ClickHouse 컨트롤 플레인과 BYOC VPC 간 연결

ClickHouse Cloud 컨트롤 플레인은 BYOC 배포를 운영하고 지원하기 위해 여러 유형의 연결을 유지합니다:

목적	연결 유형	비고
일상 운영 — Kubernetes API 서버	IP 필터링이 적용된 공개 연결(기본값), 또는 Tailscale이나 AWS VPC Lattice를 통한 비공개 연결	관리 서비스는 IP 허용 목록으로 제한된 공개 네트워크를 통해 Kubernetes(EKS/GKE/AKS) API 서버와 통신합니다. 초기 배포 후에는 필요에 따라 이를 Tailscale 또는 AWS에서는 VPC Lattice를 통한 프라이빗 액세스로 전환할 수 있습니다.
일상 운영 — 클라우드 제공업체 APIs	ClickHouse VPC → 클라우드 제공업체	관리 서비스는 ClickHouse Cloud 자체 환경에서 사용자 클라우드 제공업체의 API(AWS의 EKS 및 EC2, GCP의 GKE, Azure의 AKS 등)를 호출합니다. 이 과정에는 사용자 VPC/VNet이나 Tailscale이 관여하지 않습니다.
문제 해결 — ClickHouse 서비스	Tailscale	ClickHouse 엔지니어는 진단을 위해 Tailscale을 통해 ClickHouse 서비스(예: 시스템 테이블)에 접근합니다.
문제 해결 — Kubernetes API 서버	Tailscale	ClickHouse 엔지니어는 클러스터 진단을 위해 Tailscale을 통해 Kubernetes API 서버에 접근합니다.

​

클라우드 제공업체 API와 Kubernetes API

서로 다른 두 제어 경로는 혼동하기 쉽습니다. 두 경로는 트래픽 출발지, 인증 방식, Tailscale 적용 가능 여부가 다릅니다.

	클라우드 제공업체 API	Kubernetes API 서버
관리 대상	클러스터 자체, 노드 그룹, load balancer, storage bucket, DNS 등의 클라우드 리소스	cluster 내부의 워크로드: ClickHouse Pod, 연산자 및 해당 구성
트래픽 대상	클라우드 제공업체의 public API endpoint(예: eks.amazonaws.com, ec2.amazonaws.com) — 이 트래픽은 VPC/VNet에 절대 진입하지 않습니다	계정 내 cluster의 API endpoint
인증	AWS: 외부 ID로 보호되는 ClickHouseManagementRole 및 인프라별 관리 Role에 대한 교차 계정 sts:AssumeRole입니다. GCP: 서비스 계정 가장(키 없음)입니다. Azure: ClickHouse 서비스 주체를 위한 연합 아이덴티티(자격 증명 교환 없음)입니다	클라우드 제공업체 API를 통해 발급되는 단기 Kubernetes 자격 증명(예: assume한 Role을 사용하는 eks:GetToken)
Tailscale 적용 가능 여부	없음. 이러한 호출은 ClickHouse Cloud 네트워크에서 클라우드 제공업체로 직접 전달되며, Tailscale이나 사용자 네트워크를 통해 라우팅할 수 없습니다	기본적으로 ClickHouse 이그레스 IP로 제한되는 public endpoint이며, Tailscale 또는 AWS에서는 VPC Lattice를 통해 프라이빗 액세스로 전환할 수 있습니다
감사 추적	계정의 AWS CloudTrail(또는 GCP/Azure의 해당 서비스)이 assume한 아이덴티티로 수행된 모든 호출을 기록합니다	AWS에서는 감사 로그를 포함한 EKS control-plane 로그가 계정의 CloudWatch 로그 그룹으로 전송됩니다(청구 대상 AWS 서비스 참조). GCP 및 Azure에서는 cluster의 control-plane 감사 로깅을 확인하거나 활성화하려면 지원팀에 문의하십시오

요약하면 Kubernetes API 및 문제 해결 트래픽만 Tailscale을 사용할 수 있습니다. 클라우드 제공업체 API 호출은 항상 ClickHouse Cloud 네트워크에서 시작해 제공업체 endpoint에서 종료됩니다. 애초에 사용자 네트워크에 진입하지 않으므로 Tailscale을 통해 라우팅할 수 없습니다.

​

네트워크 출발지 기반 권한 경계

조직에서 네트워크 출발지를 기준으로 IAM role 수임 또는 Cloud API 호출을 제한하는 경우(예: aws:SourceIp 또는 aws:SourceVpc를 사용하는 AWS SCP 또는 역할 신뢰 조건), 이러한 조건으로 인해 ClickHouse의 자동화가 차단됩니다. 해당 호출은 사용자 네트워크가 아니라 ClickHouse Cloud 네트워크에서 정상적으로 발생하기 때문입니다. 이러한 조건에서 ClickHouse가 생성한 역할을 제외하거나, 출발지를 기준으로 허용 목록을 적용해야 한다면 현재 egress IP 범위를 ClickHouse에 문의하십시오.

다음 섹션에서는 문제 해결 및 선택적 관리 액세스에 Tailscale 프라이빗 네트워크를 사용하는 방법을 설명합니다.

​

Tailscale 프라이빗 네트워크

Tailscale은 ClickHouse Cloud의 관리 서비스와 BYOC 배포 환경 간에 제로 트러스트 기반의 프라이빗 네트워크 연결을 제공합니다. 이 보안 채널을 통해 인바운드 공용 네트워크 액세스나 복잡한 VPN 구성 없이 ClickHouse 엔지니어가 문제 해결 및 관리 작업을 수행할 수 있습니다. 에이전트는 아웃바운드 전용 연결만 설정하며, Tailscale 조정 서비스에 연결하려면 아웃바운드 인터넷 액세스가 필요합니다.

​

개요

Tailscale은 ClickHouse 컨트롤 플레인(ClickHouse의 VPC 내)과 BYOC 데이터 플레인(사용자 VPC 내) 사이에 암호화된 프라이빗 네트워크 터널을 생성합니다. 이 연결은 다음 용도로만 사용됩니다.

• 관리 작업: ClickHouse 관리 서비스가 BYOC 인프라와 연동하여 수행하는 작업
• 문제 해결 접근: ClickHouse 엔지니어가 진단을 위해 Kubernetes API 서버와 ClickHouse 시스템 테이블에 접근
• 메트릭 접근: ClickHouse의 중앙 집중식 모니터링 대시보드가 BYOC VPC 내에 배포된 Prometheus 스택의 메트릭에 접근하여, ClickHouse 엔지니어가 해당 환경의 관측성을 확보할 수 있도록 합니다.

Tailscale은 관리 및 문제 해결 작업에만 사용됩니다. 쿼리 트래픽이나 고객 데이터 접근에는 절대 사용되지 않습니다. 모든 고객 데이터는 사용자 VPC 내에만 유지되며, Tailscale 연결을 통해 전송되지 않습니다.

​

BYOC에서 Tailscale이 작동하는 방식

Tailscale을 통해 액세스해야 하는 각 서비스 또는 엔드포인트에 대해 ClickHouse BYOC는 다음을 배포합니다:

1. Tailnet 주소 등록: 각 엔드포인트는 고유한 tailnet 주소를 등록합니다(예: Kubernetes API 서버의 경우 k8s.xxxx.us-east-1.aws.byoc.clickhouse-prd.com)

2. Tailscale 에이전트 컨테이너: Kubernetes 클러스터에서 Tailscale 에이전트 컨테이너가 실행되며, 다음을 담당합니다:

   • Tailscale coordination server에 연결
   • 서비스를 등록해 검색할 수 있도록 함
   • Nginx 파드와 네트워크 설정을 조정

3. Nginx 파드: 다음을 수행하는 Nginx 파드:

   • Tailscale에서 들어오는 TLS 트래픽을 종료 처리
   • Kubernetes 클러스터 내의 적절한 IP로 트래픽을 라우팅

​

네트워크 연결 프로세스

Tailscale 연결은 다음 단계로 이루어집니다:

1. 초기 연결:

   • 양쪽 끝의 Tailscale 에이전트(ClickHouse 엔지니어의 환경과 BYOC Kubernetes 클러스터)가 Tailscale coordination server에 연결합니다
   • Kubernetes 클러스터 에이전트가 Kubernetes 서비스를 등록해 검색 가능하도록 합니다
   • ClickHouse 엔지니어가 해당 서비스를 볼 수 있도록 하려면 내부 에스컬레이션이 필요합니다

2. 연결 모드:

   • 직접 모드: 에이전트가 NAT 트래버설 터널을 통해 직접 연결을 설정하려고 시도합니다
   • 릴레이 모드: 직접 모드가 실패하면 통신은 Tailscale DERP(Distributed Encrypted Relay Protocol) 서버를 통한 릴레이 모드로 전환됩니다

3. 암호화:

   • 모든 통신은 종단 간 암호화됩니다
   • 각 Tailscale 에이전트는 자체 공개 키-개인 키 쌍(PKI와 유사함)을 생성합니다
   • 직접 모드와 릴레이 모드 중 어느 것을 사용하든 트래픽은 암호화된 상태로 유지됩니다

​

보안 기능

아웃바운드 전용 연결:

• Kubernetes 클러스터의 Tailscale 에이전트가 Tailscale coordination/relay server로 아웃바운드 연결을 시작합니다
• 인바운드 연결은 필요하지 않습니다 — security group 규칙에서 Tailscale 에이전트에 대한 인바운드 트래픽을 허용할 필요가 없습니다
• 따라서 공격 표면이 줄어들고 네트워크 보안 구성이 단순해집니다

액세스 제어:

• 엔지니어가 Tailscale을 통해 고객 엔드포인트로 라우팅되기 전에 내부 승인 워크플로를 통해 액세스를 요청해야 합니다
• 액세스는 일정 시간 동안만 유효하며 자동으로 만료됩니다
• 모든 액세스는 감사되며 로그에 기록됩니다

전체 데이터 액세스 정책(엔지니어가 확인할 수 있는 항목, 인증서 기반 인증, 고객 측 감사 포함)은 ClickHouse data access에서 확인하십시오.

​

관리 서비스 액세스

기본적으로 ClickHouse 관리 서비스는 ClickHouse의 NAT gateway IP 주소에서만 접근할 수 있도록 제한된 API 서버의 공용 IP 주소를 통해 BYOC Kubernetes 클러스터에 액세스합니다.

선택적 Private Endpoint 구성:

• Kubernetes API 서버가 Private Endpoint만 사용하도록 구성할 수 있습니다
• 이 경우 관리 서비스는 Tailscale을 통해 API 서버에 액세스하거나(사용자의 문제 해결 접근과 유사), AWS에서는 VPC Lattice를 통해 액세스합니다(Kubernetes API Private Connection 참조)
• 기본적으로 ClickHouse의 NAT IP 주소로 제한된 공용 endpoint는 긴급 investigation 및 지원이 필요한 경우를 대비한 백업 메커니즘으로 유지되며, 프라이빗 액세스가 확인되면 ClickHouse와 협의하여 완전히 비활성화할 수 있습니다

​

네트워크 트래픽 흐름

Tailscale 연결 흐름:

1. Kubernetes 클러스터의 Tailscale 에이전트 → Tailscale coordination server(아웃바운드)
2. 엔지니어의 머신에 있는 Tailscale 에이전트 → Tailscale coordination server(아웃바운드)
3. 에이전트 간에 직접 연결 또는 릴레이 연결이 설정됩니다
4. 설정된 터널을 통해 암호화된 트래픽이 흐릅니다
5. EKS의 Nginx 파드가 TLS 종료를 수행하고 내부 서비스로 라우팅합니다

고객 데이터 전송 없음:

• Tailscale 연결은 관리 및 문제 해결 목적으로만 사용됩니다
• 쿼리 트래픽과 고객 데이터는 Tailscale을 통해 전송되지 않습니다
• 모든 고객 데이터는 VPC 내부에 유지됩니다

BYOC에서 Tailscale이 구현되는 방식에 대한 더 자세한 기술적 내용은 Building ClickHouse BYOC on AWS blog post를 참조하십시오. 연결 후 ClickHouse 엔지니어가 읽을 수 있는 내용과 ClickHouse가 해당 접근을 어떻게 감사하는지는 ClickHouse data access를 참조하십시오.

​

네트워크 경계

이 섹션에서는 고객 BYOC VPC로 들어오고 나가는 여러 유형의 네트워크 트래픽을 설명합니다.

• Inbound: 고객 BYOC VPC로 들어오는 트래픽입니다.
• Outbound: 고객 BYOC VPC에서 시작되어 외부 대상으로 전송되는 트래픽입니다.
• Public: 공용 인터넷에서 접근할 수 있는 네트워크 엔드포인트입니다.
• Private: VPC peering, VPC Private Link 또는 Tailscale과 같은 프라이빗 연결을 통해서만 접근할 수 있는 네트워크 엔드포인트입니다.

ClickHouse client 트래픽을 수신하기 위해 Istio 인그레스가 AWS NLB 뒤에 배포됩니다.

Inbound, Public 또는 Private

Istio 인그레스 게이트웨이는 TLS 종료를 수행합니다. Let’s Encrypt를 사용해 CertManager가 프로비저닝한 인증서는 EKS 클러스터 내의 시크릿에 저장됩니다. Istio와 ClickHouse는 동일한 VPC 내에 있으므로, 이들 사이의 트래픽은 AWS에서 암호화됩니다.

기본적으로 인그레스는 IP 허용 목록 필터링을 통해 공개적으로 접근할 수 있습니다. 고객은 VPC peering을 구성하여 이를 프라이빗하게 전환하고 공용 연결을 비활성화할 수 있습니다. 접근을 제한하려면 IP 필터를 설정할 것을 강력히 권장합니다.

​

문제 해결 접근

인바운드, 프라이빗

ClickHouse Cloud 엔지니어에게는 Tailscale을 통한 문제 해결 접근 권한이 필요합니다. BYOC 배포에서는 엔지니어에게 Just-in-Time 방식의 인증서 기반 인증이 제공됩니다. 전체 접근 정책은 ClickHouse data access를 참조하십시오.

​

청구 스크레이퍼

아웃바운드, 프라이빗

청구 스크레이퍼는 ClickHouse의 청구 데이터를 수집하여 ClickHouse Cloud가 소유한 S3 버킷으로 전송합니다.

이 스크레이퍼는 ClickHouse 서버 컨테이너의 사이드카로 실행되며, CPU 및 메모리 메트릭을 주기적으로 스크레이프합니다. 동일한 리전 내 요청은 VPC gateway 서비스 엔드포인트를 통해 라우팅됩니다.

​

알림

Outbound, Public

AlertManager는 고객의 ClickHouse 클러스터가 비정상 상태일 때 ClickHouse Cloud로 알림을 보내도록 구성되어 있습니다.

메트릭과 로그는 고객의 BYOC VPC 내에 저장됩니다. 로그는 현재 EBS에 로컬로 저장되고 있습니다. 향후 업데이트에서는 BYOC VPC 내의 ClickHouse 서비스인 LogHouse에 저장될 예정입니다. 메트릭은 Prometheus 및 Thanos 스택을 사용하며 BYOC VPC 내에 로컬로 저장됩니다.

​

서비스 상태

Outbound, Public

State Exporter는 ClickHouse 서비스 및 백업 상태 정보(백업 콘텐츠가 아닌 운영 상태 이벤트)를 ClickHouse Cloud 소유의 SQS 큐로 전송합니다.