Guia de configuração da origem Aurora MySQL

Guia passo a passo para configurar o Amazon Aurora MySQL como origem no ClickPipes

Este guia passo a passo mostra como configurar o Amazon Aurora MySQL para replicar dados para o ClickHouse Cloud usando o ClickPipe do MySQL. Para perguntas frequentes sobre CDC do MySQL, consulte a página de perguntas frequentes do MySQL.

​

Habilite a retenção do log binário

O log binário é um conjunto de arquivos de log que contém informações sobre modificações de dados feitas em uma instância de servidor MySQL, e os arquivos de log binário são necessários para a replicação. Para configurar a retenção do log binário no Aurora MySQL, você deve habilitar o log binário e aumentar o intervalo de retenção do binlog.

1. Habilite o log binário por meio do backup automatizado

   O recurso de backups automatizados determina se o log binário está ativado ou desativado no MySQL. Os backups automatizados podem ser configurados para sua instância no RDS Console navegando até Modify > Additional configuration > Backup e marcando a caixa de seleção Enable automated backups (se ainda não estiver marcada).

   Recomendamos definir o Backup retention period como um valor razoavelmente longo, dependendo do caso de uso da replicação.

2. Aumente o intervalo de retenção do binlog

   Se o ClickPipes tentar retomar a replicação e os arquivos de log binário necessários tiverem sido removidos devido ao valor de retenção de binlog configurado, o ClickPipe entrará em estado de erro, e será necessário fazer uma ressincronização.

   Por padrão, o Aurora MySQL remove o log binário o mais rápido possível (ou seja, lazy purging). Recomendamos aumentar o intervalo de retenção do binlog para pelo menos 72 horas, para garantir a disponibilidade dos arquivos de log binário para replicação em cenários de falha. Para definir um intervalo de retenção do log binário (binlog retention hours), use o procedimento mysql.rds_set_configuration:

   mysql=> call mysql.rds_set_configuration('binlog retention hours', 72);
   

   Se essa configuração não estiver definida ou estiver configurada com um intervalo muito baixo, isso pode causar lacunas nos logs binários, comprometendo a capacidade do ClickPipes de retomar a replicação.

​

Configure as configurações do binlog

O grupo de parâmetros pode ser encontrado ao clicar na sua instância MySQL no RDS Console e, em seguida, navegar até a aba Configuration.

Se você tiver um cluster MySQL, os parâmetros abaixo podem ser encontrados no grupo de parâmetros do DB cluster, em vez do grupo da instância DB.

Clique no link do grupo de parâmetros para ir à página dedicada a ele. Você deverá ver um botão Edit no canto superior direito.

Os parâmetros a seguir precisam ser definidos da seguinte forma:

1. binlog_format como ROW.

2. binlog_row_metadata como FULL.

3. binlog_row_image como FULL.

Em seguida, clique em Save Changes no canto superior direito. Talvez seja necessário reiniciar sua instância para que as alterações entrem em vigor — você saberá disso se vir Pending reboot ao lado do link do grupo de parâmetros na aba Configuration da instância Aurora.

​

Ative o modo GTID (recomendado)

O ClickPipe do MySQL também oferece suporte à replicação sem o modo GTID. No entanto, é recomendável ativar o modo GTID para obter melhor desempenho e facilitar a solução de problemas.

Global Transaction Identifiers (GTIDs) são IDs exclusivos atribuídos a cada transação confirmada no MySQL. Eles simplificam a replicação do binlog e tornam a solução de problemas mais simples. Recomendamos ativar o modo GTID para que o ClickPipe do MySQL possa usar a replicação baseada em GTID.

A replicação baseada em GTID é compatível com Amazon Aurora MySQL v2 (MySQL 5.7) e v3 (MySQL 8.0), bem como com Aurora Serverless v2. Para ativar o modo GTID na sua instância do Aurora MySQL, siga estas etapas:

1. No RDS Console, clique na sua instância do MySQL.
2. Clique na guia Configuration.
3. Clique no link do grupo de parâmetros.
4. Clique no botão Edit no canto superior direito.
5. Defina enforce_gtid_consistency como ON.
6. Defina gtid-mode como ON.
7. Clique em Save Changes no canto superior direito.
8. Reinicie sua instância para que as alterações entrem em vigor.

​

Configure um usuário do banco de dados

Conecte-se à sua instância do Aurora MySQL como usuário administrador e execute os seguintes comandos:

1. Crie um usuário dedicado para o ClickPipes:

   CREATE USER 'clickpipes_user'@'%' IDENTIFIED BY 'some-password';
   

2. Conceda permissões no schema. O exemplo a seguir mostra as permissões para o banco de dados mysql. Repita esses comandos para cada banco de dados e host que você deseja replicar:

   GRANT SELECT ON `mysql`.* TO 'clickpipes_user'@'host';
   

3. Conceda permissões de replicação ao usuário:

   GRANT REPLICATION CLIENT ON *.* TO 'clickpipes_user'@'%';
   GRANT REPLICATION SLAVE ON *.* TO 'clickpipes_user'@'%';
   

​

Usando autenticação IAM (opcional)

​

Configurar o acesso à rede

​

Controle de acesso baseado em IP

Para restringir o tráfego para sua instância do Aurora MySQL, adicione os IPs NAT estáticos documentados às regras de entrada do Security Group do Aurora.

​

Acesso privado via AWS PrivateLink

Para se conectar à sua instância do Aurora MySQL por uma rede privada, você pode usar o AWS PrivateLink. Siga o guia de configuração do AWS PrivateLink para ClickPipes para estabelecer a conexão.

​

O que vem a seguir?

Agora que sua instância do Amazon Aurora MySQL está configurada para replicação via binlog e se conecta com segurança ao ClickHouse Cloud, você pode criar seu primeiro ClickPipe do MySQL. Para perguntas frequentes sobre MySQL CDC, consulte a página de perguntas frequentes do MySQL.