ClickPipes 向け AWS PrivateLink

AWS PrivateLink を使用して、ClickPipes とデータソース間のセキュアな接続を確立します。

AWS PrivateLinkを使用すると、ClickPipes と AWS でホストされているデータソースの間に安全な接続を確立できます。ClickPipes は VPC 内に**リバースプライベートエンドポイント (RPE) **を作成し、データソース用に公開されたエンドポイントサービスに接続するため、トラフィックがパブリックインターネットに公開されることはありません。

開始前に、サポートされている AWS リージョンを確認してください。

​

サポートされる ClickPipes のデータソース

ClickPipes のリバースプライベートエンドポイント機能は、以下の データソースタイプにのみ対応しています。

• Kafka
• Postgres
• MySQL
• MongoDB

Kafka では、ホスト名がエンドポイントのプライベート IP アドレスに解決される場合、Confluent 互換スキーマレジストリにもブローカーと同じリバースプライベートエンドポイント経由でアクセスできます。パブリックにアクセス可能である必要はありません。

​

サポートされる AWS PrivateLink エンドポイントの種類

ClickPipes のリバース プライベート エンドポイントは、次のいずれかの AWS PrivateLink 方式で設定できます。

• VPC リソース
• MSK ClickPipe 向け MSK マルチ VPC 接続
• VPC エンドポイントサービス

​

VPC リソース

クロスリージョンはサポートされていません。

PrivateLink を使用すると、ClickPipes から VPC リソースにアクセスできます。この方法では、データソースの前段にロードバランサーを設置する必要がありません。

リソース設定では、特定のホストまたは RDS クラスターの ARN を指定できます。

RDS クラスターからデータを取り込む Postgres CDC には、この方法が推奨されます。

VPC リソースで PrivateLink を設定するには:

1. リソースゲートウェイを作成する
2. リソース設定を作成する
3. リソース共有を作成する

1. リソースゲートウェイを作成する

   リソースゲートウェイは、VPC 内の指定されたリソース宛てのトラフィックを受信するポイントです。

   リソースゲートウェイにアタッチするサブネットには、十分な数の利用可能な IP アドレスを確保することを推奨します。 各サブネットには少なくとも /26 のサブネットマスクを使用することを推奨します。

   各 VPC エンドポイント (各 Reverse Private Endpoint) には、AWS によりサブネットごとに連続した 16 個の IP アドレスブロックが必要です。(/28 のサブネットマスク) この要件を満たさない場合、Reverse Private Endpoint は失敗状態に移行します。

   リソースゲートウェイは、AWS コンソールまたは次のコマンドで作成できます。

   aws vpc-lattice create-resource-gateway \
       --vpc-identifier <VPC_ID> \
       --subnet-ids <SUBNET_IDS> \
       --security-group-ids <SG_IDs> \
       --name <RESOURCE_GATEWAY_NAME>
   

   出力にはリソースゲートウェイ ID が含まれます。これは次の手順で必要になります。

   続行するには、リソースゲートウェイが Active 状態になるまで待つ必要があります。次のコマンドを実行して状態を確認できます。

   aws vpc-lattice get-resource-gateway \
       --resource-gateway-identifier <RESOURCE_GATEWAY_ID>
   
2. VPC リソース構成を作成する

   リソース設定をリソースゲートウェイに関連付けることで、リソースにアクセスできるようになります。

   リソース設定は、AWS コンソールまたは次のコマンドを使用して作成できます。

   aws vpc-lattice create-resource-configuration \
       --resource-gateway-identifier <RESOURCE_GATEWAY_ID> \
       --type <RESOURCE_CONFIGURATION_TYPE> \
       --resource-configuration-definition <RESOURCE_CONFIGURATION_DEFINITION> \
       --name <RESOURCE_CONFIGURATION_NAME>
   

   最もシンプルなリソース設定タイプは、単一の Resource-Configuration です。ARN を直接指定するか、パブリックに名前解決できる IP アドレスまたはドメイン名を共有して設定できます。

   たとえば、RDS クラスターの ARN を指定して設定するには:

   aws vpc-lattice create-resource-configuration \
       --name my-rds-cluster-config \
       --type ARN \
       --resource-gateway-identifier rgw-0bba03f3d56060135 \
       --resource-configuration-definition 'arnResource={arn=arn:aws:rds:us-east-1:123456789012:cluster:my-rds-cluster}'
   

   パブリックアクセス可能なクラスターに対してリソース設定を作成することはできません。 クラスターがパブリックアクセス可能な場合は、リソース設定を作成する前に クラスターを変更してプライベートにするか、代わりにIP allow listを使用する必要があります。 詳細については、AWS ドキュメントを参照してください。

   出力には、次のステップで必要となる Resource-Configuration ARN が含まれます。また、VPC リソースを使用した ClickPipe connection の設定に必要な Resource-Configuration ID も含まれます。

3. リソース共有を作成する

   リソースを共有するには、Resource-Share が必要です。これは Resource Access Manager (RAM) を使用して行います。

   Resource-Share は 1 つの Reverse Private Endpoint でのみ使用でき、再利用することはできません。 複数の Reverse Private Endpoint で同じ Resource-Configuration を使用する必要がある場合は、 エンドポイントごとに個別の Resource-Share を作成する必要があります。 Reverse Private Endpoint を削除した後も、Resource-Share は AWS アカウントに残ります。 不要になった場合は、手動で削除する必要があります。

   Resource-Configuration は、AWS コンソール を使用するか、ClickPipes アカウント ID 072088201116 (arn:aws:iam::072088201116:root) を指定して次のコマンドを実行することで、Resource-Share に追加できます。

   aws ram create-resource-share \
       --principals 072088201116 \
       --resource-arns <RESOURCE_CONFIGURATION_ARN> \
       --name <RESOURCE_SHARE_NAME>
   

   出力には Resource-Share ARN が含まれます。これは、VPC リソースを使用した ClickPipe connection の設定に必要です。

   これで、VPC リソースを使用してReverse private endpoint を利用する ClickPipe を作成できます。必要な設定は次のとおりです。

   • VPC endpoint type を VPC Resource に設定します。
   • Resource configuration ID を、ステップ 2 で作成した Resource-Configuration の ID に設定します。
   • Resource share ARN を、ステップ 3 で作成した Resource-Share の ARN に設定します。

   VPC リソースでの PrivateLink の詳細については、AWS ドキュメントを参照してください。

​

MSK マルチ VPC 接続

マルチ VPC 接続は、複数の VPC を単一の MSK クラスターに接続できる AWS MSK の組み込み機能です。 プライベート DNS は標準でサポートされており、追加の設定は不要です。 クロスリージョン接続には対応していません。

ClickPipes for MSK では、このオプションを推奨します。 詳細については、開始ガイドを参照してください。

ClickPipes はクライアント VPC を所有し、マネージド VPC 接続を作成します。ネットワーク接続を確立するには、MSK クラスターでマルチ VPC プライベート接続を有効にし、クラスター ポリシーで ClickPipes AWS アカウントを認可してください。 詳細については、クラスター ポリシーのアタッチに関する AWS ガイドを参照してください。

接続の設定方法については、ClickPipes 向け MSK セットアップガイドを参照してください。

​

VPC エンドポイントサービス

VPC エンドポイントサービスは、データソースを ClickPipes と共有するためのもう一つの方法です。 データソースの前段に NLB (Network Load Balancer) を設定し、 VPC エンドポイントサービスがその NLB を使用するように構成する必要があります。

VPC エンドポイントサービスは、ClickPipes VPC からアクセスできるプライベート DNSを使用して構成できます。 ただし、AWS PrivateLink が管理するプライベート DNS が常に利用可能な選択肢とは限りません。

• データソースのドメイン名を所有していないため、AWS で検証できない
• Confluent Cloud のように、プロバイダーがコンシューマー側で DNS 解決を管理することを求める

このような場合は、カスタム プライベート DNSを参照してください。

次の用途に適しています。

• プライベート DNS のサポートが必要なオンプレミスの Kafka セットアップ
• Confluent Cloud のプライベート接続
• Postgres CDC (変更データキャプチャ) のクロスリージョン接続
• MSK クラスターのクロスリージョン接続

詳細については、Getting Startedガイドを参照してください。

ClickPipes アカウント ID 072088201116 を、VPC エンドポイントサービスの許可されたプリンシパルに追加してください。 詳細については、権限の管理に関する AWS ガイドを参照してください。

ClickPipes 向けにクロスリージョンアクセス を構成できます。VPC エンドポイントサービスの許可されたリージョンにClickPipe のリージョンを追加してください。

MSK クラスターについては、カスタム プライベート DNS 名を使用する、エンドポイントサービスごとにブローカーを設定する構成の詳細を、MSK クラスター用 AWS PrivateLink VPC エンドポイントサービス で確認してください。

​

カスタム プライベート DNS

カスタム プライベート DNS はプライベートプレビューです。サービスで有効にするには、ClickHouse Supportまでお問い合わせください。

AWS PrivateLink は、検証済みドメインを持つ VPC エンドポイントサービス向けにマネージド プライベート DNS を提供します。一部のサービスでは、各コンシューマーが自身の VPC 内で DNS 解決を管理する必要があります。たとえば Confluent Cloud では、コンシューマーがブローカーのホスト名を PrivateLink エンドポイントに解決する必要があります。

このような場合、ClickPipes では、リバース プライベート エンドポイントにカスタム プライベート DNS 名を関連付けることができます。ClickPipes はこれらの名前をエンドポイントのプライベートアドレスに解決するため、データ ソースにはプライベート接続経由で独自のホスト名を使用してアクセスできます。

カスタム プライベート DNS はマネージド プライベート DNS を補完するものであり、置き換えるものではありません。PrivateLink サービスがすでにプライベート DNS 名を提供している場合、カスタム名は必要ありません。

カスタム プライベート DNS 名は、VPC エンドポイントサービス および VPC リソースのエンドポイントタイプでサポートされます。MSK マルチ VPC はマネージド プライベート DNS を標準で提供しており、カスタム名はサポートしていません。

ClickHouse Cloud console は現在、リバース プライベート エンドポイントごとに 1 つのカスタム プライベート DNS 名をサポートしています。 同じエンドポイントで複数のカスタム プライベート DNS 名を管理する必要がある場合は、OpenAPI または Terraform を使用してください。

カスタム プライベート DNS 名には次のルールが適用されます。

• 完全一致名 (kafka.internal.example.com) とワイルドカード名 (*.example.com) が サポートされます。ワイルドカードは 1 つの DNS ラベルに一致します。たとえば、 *.abcde12345.us-east-1.aws.confluent.cloud は b0-lkc123.abcde12345.us-east-1.aws.confluent.cloud に一致します。
• 名前は、ワイルドカード名と完全一致名の重複も含め、ClickHouse service のすべてのリバース プライベート エンドポイント間で一意である必要があります。
• 予約済み接尾辞 (例: local、localhost、internal、corp、 private) 配下の名前は拒否されます。

カスタム プライベート DNS 名を設定するには:

• ClickHouse Cloud console で、リバース プライベート エンドポイントを作成するときに Custom private DNS name フィールドに入力します。この フィールドは、サービスでこの機能が有効になると表示されます。
• OpenAPI では、リバース プライベート エンドポイントの作成時に customPrivateDnsMappings を設定するか、PATCH リクエストで既存の エンドポイントを更新します。更新するとマッピングのリスト全体が置き換えられます。空のリストを指定すると、すべてのカスタム名が 削除されます。
• Terraform では、 clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns リソースを使用して、既存のリバース プライベート エンドポイントのマッピングを管理します。

​

リバース プライベート エンドポイントを使用した ClickPipe の作成

1. ClickHouse Cloud サービスの SQL Console にアクセスします。

2. 左側のメニューで Data Sources ボタンを選択し、「ClickPipe をセットアップ」をクリックします。

3. データソースとして Kafka または Postgres を選択します。

4. Reverse private endpoint オプションを選択します。

5. 既存のリバース プライベート エンドポイントを選択するか、新しいエンドポイントを作成します。

RDS へのクロスリージョンアクセスが必要な場合は、VPC エンドポイントサービスを作成する必要があります。セットアップの参考として、このガイドを参照してください。

同一リージョン内でアクセスする場合は、VPC リソースを作成することを推奨します。

6. 選択したエンドポイントタイプに必要なパラメータを指定します。

• VPC リソースの場合は、設定共有 ARN と設定 ID を指定します。
  • MSK マルチ VPC の場合は、クラスター ARN と、作成したエンドポイントで使用する認証方法を指定します。
  • VPC エンドポイントサービスの場合は、サービス名を指定します。
  • 必要に応じて、カスタム プライベート DNS 名を指定します。

7. Create をクリックし、リバース プライベート エンドポイントの準備が完了するまで待ちます。

   新しいエンドポイントを作成する場合、セットアップには時間がかかります。 エンドポイントの準備が完了すると、ページは自動的に更新されます。 VPC エンドポイントサービスでは、AWS コンソールで接続リクエストを承認する必要がある場合があります。

8. エンドポイントの準備が完了すると、DNS 名を使用してデータソースに接続できます。

   エンドポイントの一覧で、利用可能なエンドポイントの DNS 名を確認できます。 DNS 名には、ClickPipes によって内部的にプロビジョニングされたもの、PrivateLink サービスから提供されるプライベート DNS 名、 またはカスタム プライベート DNS 名を使用できます。 DNS 名は完全なネットワークアドレスではありません。 データソースに応じてポートを追加してください。

   MSK の接続文字列は AWS コンソールで確認できます。

   DNS 名の一覧全体を確認するには、Cloud サービスの設定にアクセスしてください。

​

リバースプライベートエンドポイントの管理

既存のリバースプライベートエンドポイントは、ClickHouse Cloud のサービス設定で管理できます。

1. サイドバーで Settings ボタンをクリックします。

2. ClickPipe reverse private endpoints セクションで Reverse private endpoints をクリックします。

   リバースプライベートエンドポイントの詳細情報がフライアウトに表示されます。

   エンドポイントは作成後に編集できません。エンドポイントの × をクリックし、確認すると削除できます。削除は元に戻せず、そのエンドポイントを使用中の ClickPipe は機能しなくなります。

​

サポート対象の AWS リージョン

ClickPipes の AWS PrivateLink は、特定の AWS リージョンでのみサポートされています。 利用可能なリージョンについては、ClickPipes リージョン一覧を参照してください。

この制限は、クロスリージョン接続が有効になっている PrivateLink VPC エンドポイントサービスには適用されません。

​

制限事項

ClickHouse Cloud で作成される ClickPipes 用 AWS PrivateLink エンドポイントは、ClickHouse Cloud サービスと同じ AWS リージョンに作成されるとは限りません。

現在、クロスリージョン接続をサポートしているのは VPC エンドポイントサービスのみです。

プライベート エンドポイントは特定の ClickHouse サービスに紐づけられ、サービス間で移行することはできません。 1 つの ClickHouse サービスに対する複数の ClickPipes で、同じエンドポイントを再利用できます。

AWS MSK では、認証タイプ (SASL_IAM または SASL_SCRAM) ごとに、MSK クラスターあたり 1 つの PrivateLink (VPC エンドポイント) のみがサポートされます。そのため、複数の ClickHouse Cloud サービスまたは組織が、同じ認証タイプを使用して同じ MSK クラスターへの個別の PrivateLink 接続を作成することはできません。

​

非アクティブなエンドポイントの自動クリーンアップ

終端状態にあるリバースプライベートエンドポイントは、所定の猶予期間が経過すると自動的に削除されます。 これにより、未使用または設定に問題のあるエンドポイントが無期限に残るのを防ぎます。

エンドポイントのステータスに応じて、以下の猶予期間が適用されます。

ステータス	猶予期間	説明
Failed	7日間	プロビジョニング中にエンドポイントでエラーが発生しました。
承認待ち	1日	エンドポイント接続がサービス所有者に承認されていません。
拒否済み	1日	エンドポイント接続がサービス所有者に拒否されました。
期限切れ	即時	エンドポイントはすでに期限切れであり、速やかに削除されます。

猶予期間が経過すると、エンドポイントと関連するすべてのリソースが自動的に削除されます。

自動削除を防ぐには、猶予期間が終了する前に根本原因を解決してください。 たとえば、AWS コンソールで保留中の接続リクエストを承認するか、 失敗状態になっているエンドポイントを再作成してください。