> ## Documentation Index > Fetch the complete documentation index at: https://private-7c7dfe99-revert-104359-revert-104251-parquet-single.mintlify.site/llms.txt > Use this file to discover all available pages before exploring further. > Пошаговое руководство по настройке Amazon RDS MySQL в качестве источника для ClickPipes # Руководство по настройке источника RDS MySQL export const IAMAuthentication = ({engine, service, children}) => { const services = { aurora: { name: 'Aurora', resource: 'cluster', id: 'cluster-xxxxxxxxxxxxxx' }, rds: { name: 'RDS', resource: 'instance', id: 'db-xxxxxxxxxxxxxx' } }; const createUserStatements = { postgres: `CREATE USER clickpipes_iam_user; GRANT rds_iam TO clickpipes_iam_user;`, mysql: `CREATE USER 'clickpipes_iam_user' IDENTIFIED WITH AWSAuthenticationPlugin AS 'RDS';` }; const svc = services[String(service).toLowerCase()]; const createUserSql = createUserStatements[String(engine).toLowerCase()]; if (!svc) throw new Error(`Unsupported IAM authentication service: ${service}`); if (!createUserSql) throw new Error(`Unsupported IAM authentication engine: ${engine}`); return <>

Instead of a password, you can authenticate the ClickPipes user with an AWS IAM role. This lets ClickPipes connect to your Amazon {svc.name} {svc.resource} without storing database credentials.

Enable IAM authentication

  1. Log in to your AWS account and go to the {svc.name} {svc.resource} you want to configure.
  2. Click Modify.
  3. Scroll to the Database authentication section.
  4. Select Password and IAM database authentication.
  5. Click Continue.
  6. Review the changes and select Apply immediately.

Create the ClickPipes user

Create the ClickPipes user with IAM authentication enabled, then grant it the same schema and replication privileges shown above:

{createUserSql} {children}

Obtain the ClickHouse service IAM role ARN

  1. Log in to your ClickHouse Cloud account.
  2. Select the ClickHouse service you want to connect.
  3. Select the Settings tab.
  4. Scroll to the Network security information section at the bottom of the page.
  5. Copy the service's Service role ID (IAM) value, shown below.
Service role ID (IAM) value in the Network security information section

This value is your {'{ClickHouse_IAM_ARN}'} — the role ClickPipes uses to access your {svc.name} {svc.resource}.

Obtain the resource ID

  1. Log in to your AWS account and go to the {svc.name} {svc.resource} you want to configure.
  2. Select the Configuration tab.
  3. Note the Resource ID value — it looks like {svc.id}. This is your {'{RDS_RESOURCE_ID}'}, which you reference in the permissions policy.

Create the IAM role

  1. Log in to your AWS account with an IAM user that has permission to create and manage IAM roles.
  2. Open the IAM console.
  3. Create a new IAM role with the following trust and permissions policies.

    Trust policy (replace {'{ClickHouse_IAM_ARN}'} with the IAM role ARN of your ClickHouse instance):

    {`{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "{ClickHouse_IAM_ARN}" }, "Action": [ "sts:AssumeRole", "sts:TagSession" ] } ] }`}

    Permissions policy (replace {'{RDS_RESOURCE_ID}'} with the resource ID of your {svc.name} {svc.resource}, {'{RDS_REGION}'} with its region, and {'{AWS_ACCOUNT}'} with your AWS account ID):

    {`{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "rds-db:connect" ], "Resource": [ "arn:aws:rds-db:{RDS_REGION}:{AWS_ACCOUNT}:dbuser:{RDS_RESOURCE_ID}/clickpipes_iam_user" ] } ] }`}
  4. Once the role is created, copy its ARN. This is your {'{RDS_ACCESS_IAM_ROLE_ARN}'}.

You can now use this IAM role to authenticate with your {svc.name} {svc.resource} from ClickPipes.

; }; export const Image = ({img, alt, size = "lg"}) => { const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg"; return
{alt}
; }; В этом пошаговом руководстве показано, как настроить Amazon RDS MySQL для репликации данных в ClickHouse Cloud с помощью [MySQL ClickPipe](/ru/integrations/clickpipes/mysql/index). Ответы на распространённые вопросы о MySQL CDC см. на [странице с часто задаваемыми вопросами по MySQL](/ru/integrations/clickpipes/mysql/faq).
## Включение хранения бинарного лога
Бинарный лог — это набор файлов журнала, содержащих информацию об изменениях данных, внесённых в экземпляр сервера MySQL, и эти файлы бинарного лога необходимы для репликации. Чтобы настроить хранение бинарного лога в RDS MySQL, необходимо [включить бинарное логирование](#enable-binlog-logging) и [увеличить интервал хранения бинарного лога](#binlog-retention-interval). Функция автоматического резервного копирования определяет, будет ли для MySQL включено бинарное логирование. Автоматическое резервное копирование можно настроить для вашего экземпляра в RDS Console, перейдя в **Modify** > **Additional configuration** > **Backup** и установив флажок **Enable automated backups** (если он ещё не установлен). Включение автоматического резервного копирования в RDS Мы рекомендуем установить для **Backup retention period** достаточно длительный срок в зависимости от сценария использования репликации. Если ClickPipes попытается возобновить репликацию, а необходимые файлы бинарного лога уже были удалены из-за настроенного срока хранения binlog, ClickPipe перейдёт в состояние с ошибкой, и потребуется повторная синхронизация. По умолчанию Amazon RDS удаляет бинарный лог как можно быстрее (то есть использует *отложенную очистку*). Мы рекомендуем увеличить интервал хранения бинарного лога как минимум до **72 часов**, чтобы файлы бинарного лога оставались доступными для репликации в случае сбоев. Чтобы задать интервал хранения бинарного лога ([`binlog retention hours`](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/mysql-stored-proc-configuring.html#mysql_rds_set_configuration-usage-notes.binlog-retention-hours)), используйте процедуру [`mysql.rds_set_configuration`](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/mysql-stored-proc-configuring.html#mysql_rds_set_configuration): [//]: # "ПРИМЕЧАНИЕ: Большинство провайдеров CDC рекомендуют максимальный срок хранения для RDS (7 дней/168 часов). Поскольку это влияет на использование диска, мы даём более осторожную рекомендацию: минимум 3 дня/72 часа." ```text theme={null} mysql=> call mysql.rds_set_configuration('binlog retention hours', 72); ``` Если этот параметр не задан или задан слишком маленький интервал, это может привести к пропускам в бинарных логах, из-за чего ClickPipes не сможет возобновить репликацию.
## Настройка параметров binlog
Группу параметров можно найти, если выбрать свой экземпляр MySQL в RDS Console, а затем перейти на вкладку **Configuration**. Если у вас кластер MySQL, указанные ниже параметры находятся в группе параметров [DB cluster](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/USER_WorkingWithParamGroups.CreatingCluster.html), а не в группе параметров экземпляра DB. Где найти группу параметров в RDS
Нажмите ссылку группы параметров — откроется её отдельная страница. В правом верхнем углу вы увидите кнопку **Edit**. Изменение группы параметров Нужно задать следующие параметры: 1. `binlog_format` — `ROW`. Формат binlog: ROW 2. `binlog_row_metadata` — `FULL` Метаданные строк binlog: FULL 3. `binlog_row_image` — `FULL` Образ строки binlog: FULL
Затем нажмите **Save Changes** в правом верхнем углу. Чтобы изменения вступили в силу, может потребоваться перезагрузка экземпляра. Это можно понять по статусу `Pending reboot` рядом со ссылкой на группу параметров на вкладке **Configuration** экземпляра RDS.
## Включение режима GTID
MySQL ClickPipe также поддерживает репликацию без использования режима GTID. Однако для более высокой производительности и более простого устранения неполадок рекомендуется включить режим GTID. [Global Transaction Identifiers (GTIDs)](https://dev.mysql.com/doc/refman/8.0/en/replication-gtids.html) — это уникальные идентификаторы, назначаемые каждой зафиксированной транзакции в MySQL. Они упрощают репликацию по binlog и делают устранение неполадок более простым. Мы **рекомендуем** включить режим GTID, чтобы MySQL ClickPipe мог использовать репликацию на основе GTID. Репликация на основе GTID поддерживается в Amazon RDS for MySQL версий 5.7, 8.0 и 8.4. Чтобы включить режим GTID для вашего экземпляра Aurora MySQL, выполните следующие шаги: 1. В RDS Console выберите свой экземпляр MySQL. 2. Перейдите на вкладку **Configuration**. 3. Нажмите ссылку группы параметров. 4. Нажмите кнопку **Edit** в правом верхнем углу. 5. Установите для `enforce_gtid_consistency` значение `ON`. 6. Установите для `gtid-mode` значение `ON`. 7. Нажмите **Save Changes** в правом верхнем углу. 8. Перезагрузите экземпляр, чтобы изменения вступили в силу. GTID включен
MySQL ClickPipe также поддерживает репликацию без использования режима GTID. Однако для более высокой производительности и более простого устранения неполадок рекомендуется включить режим GTID.
## Настройте пользователя базы данных
Подключитесь к своему экземпляру RDS MySQL под учетной записью администратора и выполните следующие команды: 1. Создайте отдельного пользователя для ClickPipes: ```sql theme={null} CREATE USER 'clickpipes_user'@'host' IDENTIFIED BY 'some-password'; ``` 2. Выдайте разрешения на схему. В следующем примере показаны разрешения для базы данных `mysql`. Повторите эти команды для каждой базы данных и каждого хоста, которые нужно реплицировать: ```sql theme={null} GRANT SELECT ON `mysql`.* TO 'clickpipes_user'@'host'; ``` 3. Выдайте пользователю разрешения на репликацию: ```sql theme={null} GRANT REPLICATION CLIENT ON *.* TO 'clickpipes_user'@'%'; GRANT REPLICATION SLAVE ON *.* TO 'clickpipes_user'@'%'; ```
### Использование IAM authentication (необязательно)
## Настройте сетевой доступ
### Управление доступом на основе IP
Чтобы ограничить доступ к вашему экземпляру Aurora MySQL, добавьте [статические NAT IP-адреса, указанные в документации](/ru/integrations/clickpipes/networking/static-ips), в **Inbound rules** группы безопасности RDS. Где найти группу безопасности в RDS MySQL? Изменить правила входящего трафика для указанной выше группы безопасности Чтобы подключиться к вашему экземпляру RDS по частной сети, можно использовать AWS PrivateLink. Следуйте [руководству по настройке AWS PrivateLink для ClickPipes](/ru/resources/support-center/knowledge-base/cloud-services/aws-privatelink-setup-for-clickpipes), чтобы настроить подключение.
## Следующие шаги
Теперь, когда ваш экземпляр Amazon RDS MySQL настроен для репликации через binlog и безопасного подключения к ClickHouse Cloud, вы можете [создать свой первый MySQL ClickPipe](/ru/integrations/clickpipes/mysql/index#create-your-clickpipe). Ответы на распространённые вопросы о MySQL CDC см. на [странице с часто задаваемыми вопросами по MySQL](/ru/integrations/clickpipes/mysql/faq).