motor de tabela DeltaLake

Este motor fornece integração com tabelas Delta Lake existentes no Amazon S3, no GCS e no Azure Blob Storage, com suporte tanto a leituras quanto a gravações.

Este motor fornece integração com tabelas Delta Lake existentes no S3 e nos armazenamentos do GCP e do Azure, com suporte tanto a leituras quanto a gravações (gravações para S3 e GCS a partir da v25.10, para o Azure a partir da v26.9).

​

Criar uma tabela DeltaLake

Por padrão, a tabela Delta Lake já deve existir no armazenamento S3, GCP ou Azure, e os comandos abaixo se conectam a ela sem definições de colunas DDL. Com allow_delta_lake_create_table = 1, um CREATE TABLE com colunas explícitas em um local que não tenha _delta_log cria uma nova tabela Delta Lake gravando o commit inicial por meio de delta-kernel-rs (a criação de uma tabela particionada ainda não é compatível) e, dentro de um banco de dados Unity DataLakeCatalog, a tabela também é registrada no catálogo.

S3

Sintaxe

CREATE TABLE table_name
ENGINE = DeltaLake(url, [aws_access_key_id, aws_secret_access_key,] [extra_credentials])

Parâmetros do motor

• url — URL do bucket com o caminho para a tabela Delta Lake existente.
• aws_access_key_id, aws_secret_access_key - Credenciais de longo prazo para o usuário da conta AWS. Você pode usá-las para autenticar suas solicitações. O parâmetro é opcional. Se as credenciais não forem especificadas, elas serão obtidas do arquivo de configuração.
• extra_credentials - Opcional. Usado para informar um role_arn para acesso baseado em função no ClickHouse Cloud. Consulte Secure S3 para ver as etapas de configuração.

Os parâmetros do motor podem ser especificados usando coleções nomeadas.

Exemplo

CREATE TABLE deltalake
ENGINE = DeltaLake('http://mars-doc-test.s3.amazonaws.com/clickhouse-bucket-3/test_table/', 'ABC123', 'Abc+123')

Usando coleções nomeadas:

<clickhouse>
    <named_collections>
        <deltalake_conf>
            <url>http://mars-doc-test.s3.amazonaws.com/clickhouse-bucket-3/</url>
            <access_key_id>ABC123</access_key_id>
            <secret_access_key>Abc+123</secret_access_key>
        </deltalake_conf>
    </named_collections>
</clickhouse>

CREATE TABLE deltalake
ENGINE = DeltaLake(deltalake_conf, filename = 'test_table')

GCP

Sintaxe

-- Usando URL HTTPS (recomendado)
CREATE TABLE table_name
ENGINE = DeltaLake('https://storage.googleapis.com/<bucket>/<path>/', '<access_key_id>', '<secret_access_key>')

URIs gsutil, como gs://clickhouse-docs-example-bucket, não têm suporte. Use uma URL começando com https://storage.googleapis.com

Argumentos

• url — URL do bucket do GCS para a tabela Delta Lake. Deve usar o formato https://storage.googleapis.com/<bucket>/<path>/ (o endpoint da API XML do GCS) ou gs://<bucket>/<path>/, que é convertido automaticamente.
• access_key_id — Chave de acesso do GCS. Crie-a em Google Cloud Console → Cloud Storage → Settings → Interoperability.
• secret_access_key — Segredo do GCS.

Coleções nomeadas

Você também pode usar coleções nomeadas. Por exemplo:

CREATE NAMED COLLECTION gcs_creds AS
access_key_id = '<access_key>',
secret_access_key = '<secret>';

CREATE TABLE gcpDeltaLake
ENGINE = DeltaLake(gcs_creds, url = 'https://storage.googleapis.com/<bucket>/<path>')

Azure

Sintaxe

CREATE TABLE table_name
ENGINE = DeltaLake(connection_string|storage_account_url, container_name, blobpath, [account_name, account_key, format, compression])

Argumentos

• connection_string — string de conexão do Azure
• storage_account_url — URL da conta de armazenamento do Azure (por exemplo, https://account.blob.core.windows.net)
• container_name — nome do contêiner do Azure
• blobpath — caminho para a tabela Delta Lake dentro do contêiner
• account_name — nome da conta de armazenamento do Azure
• account_key — chave da conta de armazenamento do Azure

​

Grave dados usando uma tabela DeltaLake

Depois de criar uma tabela usando o motor de tabela DeltaLake, você pode inserir dados nela com:

SET allow_delta_lake_writes = 1;

INSERT INTO deltalake(id, firstname, lastname, gender, age)
VALUES (1, 'John', 'Smith', 'M', 32);

As gravações no Delta Lake são um recurso Beta desabilitado por padrão e devem ser habilitadas com SET allow_delta_lake_writes = 1; (disponível a partir da versão 26.7; em versões anteriores, use SET allow_experimental_delta_lake_writes = 1;).

A gravação usando o motor de tabela é compatível apenas por meio do delta kernel. As gravações funcionam com S3 e GCS, e com o Azure a partir da versão 26.9. A autenticação por Workload Identity do Azure (extra_credentials(client_id = ..., tenant_id = ...)) não é compatível com o delta kernel.

​

Cache de dados

O motor de tabela e a função de tabela DeltaLake são compatíveis com cache de dados, assim como os armazenamentos S3, AzureBlobStorage e HDFS. Consulte “motor de tabela S3” para mais detalhes.

​

Veja também

• função de tabela deltaLake