> ## Documentation Index > Fetch the complete documentation index at: https://private-7c7dfe99-revert-104359-revert-104251-parquet-single.mintlify.site/llms.txt > Use this file to discover all available pages before exploring further. # Référence > Détaille les formats, les sources, les garanties de livraison, l'authentification et les fonctionnalités expérimentales pris en charge par Kafka ClickPipes. export const ExperimentalBadge = () => { return

Fonctionnalité expérimentale ; }; export const Image = ({img, alt, size = "lg"}) => { const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg"; return

; };

## Sources de données prises en charge

| Nom | Logo | Type | Statut | Description | | ---------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------- | ------ | ----------------------------------------------------------------------------------------------------------------- | | Apache Kafka | Logo Apache Kafka

| Streaming | Stable | Configurez ClickPipes pour commencer à ingérer des données en streaming de WarpStream dans ClickHouse Cloud. |

## Niveau d’isolation

Le niveau d’isolation du consommateur Kafka détermine si un ClickPipe lit et insère uniquement les messages validés par une transaction Kafka. Activez le paramètre `kafka_read_committed` pour utiliser `read_committed` et ignorer les messages provenant de transactions Kafka abandonnées. Désactivez-le pour utiliser `read_uncommitted` et lire tous les messages. Vous pouvez configurer ce paramètre dans **Paramètres avancés**.

## Formats de données pris en charge

Les formats pris en charge sont : * [JSON](/fr/guides/clickhouse/data-formats/json/intro) * [AvroConfluent](/fr/reference/formats/Avro/AvroConfluent) * [Protobuf](/fr/reference/formats/Protobuf/Protobuf)

## Types de données pris en charge

### Types standard

Les types de données ClickHouse standard suivants sont actuellement pris en charge dans ClickPipes : * Types numériques de base - \[U]Int8/16/32/64, Float32/64 et BFloat16 * Types entiers de grande taille - \[U]Int128/256 * Types Decimal * Boolean * String * FixedString * Date, Date32 * DateTime, DateTime64 (fuseaux horaires UTC uniquement) * Enum8/Enum16 * UUID * IPv4 * IPv6 * Time, Time64 * JSON * tous les types LowCardinality de ClickHouse * Map avec des clés et des valeurs utilisant l’un des types ci-dessus (y compris Nullable) * Tuple et Array avec des éléments utilisant l’un des types ci-dessus (y compris Nullable, profondeur d’un seul niveau uniquement) * Types SimpleAggregateFunction (pour les destinations AggregatingMergeTree ou SummingMergeTree)

### Prise en charge du type Variant

ClickPipes prend en charge le type Variant dans les cas suivants : * Unions Avro. Si votre schéma Avro contient une union avec plusieurs types non NULL, ClickPipes inférera le type Variant approprié. Les types Variant ne sont pas pris en charge autrement pour les données Avro. * Champs JSON. Vous pouvez spécifier manuellement un type Variant (tel que `Variant(String, Int64, DateTime)`) pour n’importe quel champ JSON dans le flux de données source. Les sous-types complexes (arrays/maps/tuples) ne sont pas pris en charge. De plus, en raison de la façon dont ClickPipes détermine le sous-type Variant approprié à utiliser, un seul type entier ou DateTime peut être utilisé dans la définition de Variant - par exemple, `Variant(Int64, UInt32)` n’est pas pris en charge.

### Prise en charge du type JSON

ClickPipes prend en charge le type JSON dans les cas suivants : * Les champs record Avro et message Protobuf peuvent toujours être affectés à une colonne JSON. * Les champs Avro String et Bytes peuvent être affectés à une colonne JSON si le champ Avro contient réellement des objets JSON String. * Les types Protobuf String et Bytes peuvent être affectés à une colonne JSON si le champ Protobuf contient réellement des objets JSON String. * Les champs JSON qui sont toujours des objets JSON peuvent être affectés à une colonne JSON de destination. Notez que vous devrez modifier manuellement la colonne de destination pour lui attribuer le type JSON souhaité, y compris les chemins fixés ou ignorés.

### Avro

#### Types de données Avro pris en charge

ClickPipes prend en charge tous les types primitifs et complexes d’Avro, ainsi que tous les types logiques d’Avro, à l’exception de `local-timestamp-millis` et `local_timestamp-micros`. Les types Avro `record` sont convertis en Tuple, les types `array` en Array, et `map` en Map (clés de type chaîne uniquement). De manière générale, les conversions répertoriées [ici](/fr/concepts/features/interfaces/schema-inference#avro) sont disponibles. Nous recommandons d’utiliser une correspondance exacte des types pour les types numériques Avro, car ClickPipes ne vérifie pas les dépassements de capacité ni les pertes de précision lors des conversions de type. Sinon, tous les types Avro peuvent être insérés dans une colonne `String` et seront alors représentés sous la forme d’une chaîne JSON valide.

#### Types Nullable et unions Avro

Dans Avro, les types Nullable sont définis à l’aide d’un schéma Union de `(T, null)` ou `(null, T)`, où T est le type Avro de base. Lors de l’inférence de schéma, ces unions sont mappées sur une colonne ClickHouse « Nullable ». Notez que ClickHouse ne prend pas en charge les types `Nullable(Array)`, `Nullable(Map)` ou `Nullable(Tuple)`. Les unions Avro avec null pour ces types seront mappées sur des versions non Nullable (les types record Avro sont mappés sur un named Tuple ClickHouse). Les valeurs « null » Avro pour ces types seront insérées comme suit : * Un Array vide pour un tableau Avro null * Une Map vide pour une Map Avro null * Un named Tuple avec toutes les valeurs par défaut/à zéro pour un record Avro null

### Protobuf

#### Types de données Protobuf pris en charge

ClickPipes prend en charge tous les types Protobuf 2 et 3, à l’exception du type `group` de proto 2, obsolète de longue date. Les conversions de types de base utilisent les correspondances suivantes : Les variantes `Array`, `Map` et `Nullable` de tous les types de base sont également prises en charge. | Type Protobuf | Type ClickHouse | | ----------------------------- | --------------- | | `bool` | `UInt8` | | `float` | `Float32` | | `double` | `Float64` | | `int32`, `sint32`, `sfixed32` | `Int32` | | `int64`, `sint64`, `sfixed64` | `Int64` | | `uint32`, `fixed32` | `UInt32` | | `uint64`, `fixed64` | `UInt64` | | `string`, `bytes` | `String` | | `enum` | `Enum` | | `repeated T` | `Array(T)` | | `message` | `Tuple` | Pour les types numériques, une correspondance exacte est recommandée afin d’éviter tout dépassement de capacité ou toute perte de précision. Les [types bien connus](https://protobuf.dev/reference/protobuf/google.protobuf/) suivants sont également pris en charge : | Type bien connu | Type ClickHouse | | -------------------------------------------------------------------------------------------- | ------------------------ | | `google.protobuf.Timestamp` | `DateTime`, `DateTime64` | | `google.protobuf.Duration` | `Time`, `Time64` | | `google.protobuf.StringValue`, `google.protobuf.BytesValue` | `Nullable(String)` | | `google.protobuf.Int32Value`, `google.protobuf.SInt32Value`, `google.protobuf.SFixed32Value` | `Nullable(Int32)` | | `google.protobuf.Int64Value`, `google.protobuf.SInt64Value`, `google.protobuf.SFixed64Value` | `Nullable(Int64)` | | `google.protobuf.UInt32Value`, `google.protobuf.Fixed32Value` | `Nullable(UInt32)` | | `google.protobuf.UInt64Value`, `google.protobuf.Fixed64Value` | `Nullable(UInt64)` | | `google.protobuf.FloatValue` | `Nullable(Float32)` | | `google.protobuf.DoubleValue` | `Nullable(Float64)` | | `google.protobuf.BoolValue` | `Nullable(UInt8)` |

#### Protobuf `oneof`

Lors de l’inférence de schéma, les champs Protobuf `oneof` sont, par défaut, mappés sur un `Tuple` nommé, dans lequel un seul champ au maximum contient une valeur autre que la valeur par défaut. Ces champs peuvent également être automatiquement mappés sur une colonne `Variant`, où la valeur active prend le type du champ constitutif qui est défini. Autrement, chaque champ constitutif peut être mappé manuellement à sa propre colonne ClickHouse ; comme les champs `oneof` sont mutuellement exclusifs, une seule colonne sera renseignée pour chaque enregistrement.

#### Listes de messages

Si le schéma Protobuf de niveau supérieur défini pour le ClickPipe contient un seul champ répété qui est lui-même un message Protobuf, l’inférence de schéma et la mise en correspondance des colonnes seront basées sur le champ de message « contenu ». Le message Kafka sera traité comme une liste de tels messages, et un seul message Kafka sera décomposé en plusieurs lignes ClickHouse.

## Colonnes virtuelles Kafka

Les colonnes virtuelles suivantes sont prises en charge pour les sources de données de streaming compatibles avec Kafka. Lors de la création d’une nouvelle destination, des colonnes virtuelles peuvent être ajoutées à la table cible à l’aide du bouton `Add Column`. | Nom | Description | Type de données recommandé | | ---------------- | ----------------------------------------------------------------------------- | -------------------------- | | `_key` | Clé du message Kafka | `String` | | `_timestamp` | Horodatage Kafka (précision à la milliseconde) | `DateTime64(3)` | | `_partition` | Partition Kafka | `Int32` | | `_offset` | Offset Kafka | `Int64` | | `_topic` | Topic Kafka | `String` | | `_header_keys` | Tableau parallèle des clés dans les en-têtes de l’enregistrement | `Array(String)` | | `_header_values` | Tableau parallèle des valeurs d’en-tête dans les en-têtes de l’enregistrement | `Array(String)` | | `_raw_message` | Message Kafka complet | `String` | Notez que la colonne `_raw_message` n’est recommandée que pour les données JSON. Pour les cas d’usage où seule la chaîne JSON est requise (par exemple, lors de l’utilisation des fonctions ClickHouse [`JsonExtract*`](/fr/reference/functions/regular-functions/json-functions#jsonextract-functions) pour alimenter une vue matérialisée en aval), la suppression de toutes les colonnes « non virtuelles » peut améliorer les performances de ClickPipes.

### Clés de messages structurées

La mise en correspondance de `_key` vers une colonne `String` stocke la clé du message Kafka d’origine. Cette mise en correspondance contourne le décodage de la clé et la recherche de schéma. Pour extraire des champs d’une clé structurée, mettez les champs source commençant par `_key.` en correspondance. Par exemple, pour la clé JSON `{"customer":{"id":42}}`, mettez `_key.customer.id` en correspondance avec une colonne de destination telle que `customer_id`. Pour les mises en correspondance `_key.*` ou une mise en correspondance directe de `_key` vers un type autre que `String`, ClickPipes vérifie d’abord si la clé a été encodée à l’aide du registre de schémas configuré. Si ce n’est pas le cas, ClickPipes vérifie si la clé est un objet JSON. Une clé encodée à l’aide d’un registre doit utiliser le même format et la même famille de registres que la valeur de l’enregistrement, mais peut utiliser un ID de schéma différent. Les modifications du schéma de la clé sont détectées automatiquement. Lorsque le décodage est activé, les clés brutes, les scalaires ou tableaux JSON et les JSON mal formés ne renseignent pas les champs de clé imbriqués ; leurs colonnes de destination reçoivent les valeurs par défaut de leur type. Si ClickPipes reconnaît une clé encodée à l’aide d’un registre, mais ne peut pas récupérer ou appliquer son schéma, il écrit l’enregistrement Kafka dans la table d’erreurs de ClickPipes. Une clé Avro peut également avoir un schéma racine autre qu’un enregistrement, tel qu’un type primitif, un tableau, une map ou un type fixe. Pour la décoder, mettez `_key` directement en correspondance avec un type de destination compatible autre que `String`. Les schémas qui ne sont pas des enregistrements ne peuvent pas renseigner les champs de clé imbriqués.