Aurora MySQL 소스 설정 가이드

Amazon Aurora MySQL을 ClickPipes 소스로 설정하는 방법을 단계별로 안내합니다

이 단계별 가이드는 MySQL ClickPipe를 사용하여 Amazon Aurora MySQL의 데이터를 ClickHouse Cloud로 복제하도록 구성하는 방법을 안내합니다. MySQL CDC와 관련된 일반적인 질문은 MySQL FAQ 페이지를 참조하십시오.

​

바이너리 로그 보존 활성화

바이너리 로그는 MySQL 서버 인스턴스에서 수행된 데이터 변경 정보를 담고 있는 로그 파일 집합이며, 복제에는 바이너리 로그 파일이 필요합니다. Aurora MySQL에서 바이너리 로그 보존을 구성하려면 바이너리 로깅을 활성화하고 binlog 보존 기간을 늘려야 합니다.

1. 자동 백업으로 바이너리 로깅 활성화

   MySQL에서 바이너리 로깅을 사용할지 여부는 자동 백업 기능으로 결정됩니다. 자동 백업은 RDS Console에서 Modify > Additional configuration > Backup으로 이동한 뒤 Enable automated backups 확인란을 선택하여(아직 선택하지 않은 경우) 인스턴스에 구성할 수 있습니다.

   복제 사용 사례에 따라 Backup retention period를 충분히 긴 값으로 설정하는 것이 좋습니다.

2. binlog 보존 기간 늘리기

   ClickPipes가 복제를 재개하려고 할 때 구성된 binlog 보존 값에 따라 필요한 binlog 파일이 이미 제거된 경우, ClickPipe는 오류 상태가 되며 resync가 필요합니다.

   기본적으로 Aurora MySQL은 바이너리 로그를 가능한 한 빨리 제거합니다(즉, 지연 제거(lazy purging)). 장애 상황에서도 복제에 필요한 바이너리 로그 파일을 사용할 수 있도록 binlog 보존 기간을 최소 72시간으로 늘리는 것이 좋습니다. 바이너리 로그 보존 기간(binlog retention hours)을 설정하려면 mysql.rds_set_configuration 프로시저를 사용하십시오:

   mysql=> call mysql.rds_set_configuration('binlog retention hours', 72);
   

   이 구성이 설정되지 않았거나 인터벌 값이 너무 낮게 설정되면 바이너리 로그에 누락 구간이 생겨 ClickPipes가 복제를 재개하지 못할 수 있습니다.

​

binlog 설정 구성

RDS Console에서 MySQL 인스턴스를 클릭한 다음 Configuration 탭으로 이동하면 매개변수 그룹을 찾을 수 있습니다.

MySQL cluster를 사용하는 경우 아래 매개변수는 DB 인스턴스 그룹이 아니라 DB cluster 매개변수 그룹에서 확인할 수 있습니다.

매개변수 그룹 링크를 클릭하면 해당 전용 페이지로 이동합니다. 오른쪽 상단에 Edit 버튼이 표시되어야 합니다.

다음 매개변수는 아래와 같이 설정해야 합니다.

1. binlog_format을 ROW로 설정합니다.

2. binlog_row_metadata를 FULL로 설정합니다.

3. binlog_row_image를 FULL로 설정합니다.

그런 다음 오른쪽 상단의 Save Changes를 클릭합니다. 변경 사항을 적용하려면 인스턴스를 재부팅해야 할 수 있습니다. Aurora 인스턴스의 Configuration 탭에서 매개변수 그룹 링크 옆에 Pending reboot가 표시되면 이를 확인할 수 있습니다.

​

GTID 모드 활성화(권장)

MySQL ClickPipe는 GTID 모드 없이도 복제를 지원합니다. 하지만 더 나은 성능과 더 쉬운 문제 해결을 위해 GTID 모드를 활성화하는 것이 좋습니다.

Global Transaction Identifiers (GTIDs)는 MySQL에서 커밋된 각 트랜잭션에 할당되는 고유 ID입니다. GTID는 binlog 복제를 단순화하고 문제 해결도 더 수월하게 해줍니다. MySQL ClickPipe가 GTID 기반 복제를 사용할 수 있도록 GTID 모드를 활성화할 것을 권장합니다.

GTID 기반 복제는 Amazon Aurora MySQL v2(MySQL 5.7)와 v3(MySQL 8.0), 그리고 Aurora Serverless v2에서 지원됩니다. Aurora MySQL 인스턴스에서 GTID 모드를 활성화하려면 다음 단계를 따르십시오.

1. RDS Console에서 MySQL 인스턴스를 클릭합니다.
2. Configuration 탭을 클릭합니다.
3. 매개변수 그룹 링크를 클릭합니다.
4. 오른쪽 상단의 Edit 버튼을 클릭합니다.
5. enforce_gtid_consistency를 ON으로 설정합니다.
6. gtid-mode를 ON으로 설정합니다.
7. 오른쪽 상단의 Save Changes를 클릭합니다.
8. 변경 사항을 적용하려면 인스턴스를 재부팅합니다.

​

데이터베이스 사용자 설정

관리자 권한이 있는 사용자로 Aurora MySQL 인스턴스에 연결한 후, 다음 명령을 실행합니다:

1. ClickPipes 전용 사용자를 생성합니다:

   CREATE USER 'clickpipes_user'@'%' IDENTIFIED BY 'some-password';
   

2. 스키마에 대한 권한을 부여합니다. 다음 예시는 mysql 데이터베이스에 대한 권한을 보여줍니다. 복제하려는 각 데이터베이스와 호스트에 대해 이 명령을 반복합니다:

   GRANT SELECT ON `mysql`.* TO 'clickpipes_user'@'host';
   

3. 사용자에게 복제 권한을 부여합니다:

   GRANT REPLICATION CLIENT ON *.* TO 'clickpipes_user'@'%';
   GRANT REPLICATION SLAVE ON *.* TO 'clickpipes_user'@'%';
   

​

IAM 인증 사용(선택 사항)

​

네트워크 액세스 설정

​

IP 기반 액세스 제어

Aurora MySQL 인스턴스로 들어오는 트래픽을 제한하려면 문서에 안내된 정적 NAT IP 주소를 Aurora 보안 그룹의 인바운드 규칙에 추가하십시오.

​

AWS PrivateLink를 통한 프라이빗 액세스

프라이빗 네트워크를 통해 Aurora MySQL 인스턴스에 연결하려면 AWS PrivateLink를 사용할 수 있습니다. 연결을 설정하려면 ClickPipes용 AWS PrivateLink 설정 가이드를 참조하십시오.

​

다음 단계

이제 Amazon Aurora MySQL 인스턴스가 binlog 복제용으로 구성되었고 ClickHouse Cloud에 안전하게 연결되었으므로, 첫 번째 MySQL ClickPipe를 생성할 수 있습니다. MySQL CDC와 관련해 자주 묻는 질문은 MySQL FAQ 페이지를 참조하십시오.