Monitorización de ClickPipes

Monitoriza ClickPipes con métricas de Prometheus.

Además de la monitorización desde la consola, ClickPipes expone métricas en un endpoint compatible con Prometheus para que puedan recopilarse. Estas métricas se publican junto con otras métricas del servicio de ClickHouse Cloud y permiten integrar la monitorización de ClickPipes con su pila de observabilidad existente (por ejemplo, Grafana, Datadog).

​

Etiquetas de métricas

Las métricas de ClickPipes usan las etiquetas estándar a nivel de servicio (clickhouse_org, clickhouse_service, clickhouse_service_name), además de las siguientes etiquetas específicas de ClickPipes:

Etiqueta	Descripción
clickpipe_id	El identificador único del ClickPipe
clickpipe_name	El nombre del ClickPipe
clickpipe_source	El tipo de origen (p. ej., kafka, postgres, s3)
clickpipe_state	El estado del ClickPipe (p. ej., Stopped, Provisioning, Running)

​

Respuesta de ejemplo

A continuación se muestra el aspecto de las métricas de ClickPipes en una respuesta de scrape de Prometheus para un Kafka ClickPipe. El conjunto de métricas expuestas varía según el tipo de pipe; consulte Métricas disponibles para ver qué métricas se aplican a qué tipos de pipe:

# HELP ClickPipes_Info Siempre igual a 1. La etiqueta "clickpipe_state" contiene el estado actual del pipe: Stopped/Provisioning/Running/Paused/Failed
# TYPE ClickPipes_Info gauge
ClickPipes_Info{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent",clickpipe_state="Running"} 1

# HELP ClickPipes_FetchedEvents_Total Número total de registros obtenidos del origen.
# TYPE ClickPipes_FetchedEvents_Total counter
ClickPipes_FetchedEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5535376

# HELP ClickPipes_SentEvents_Total Número total de registros enviados a ClickHouse
# TYPE ClickPipes_SentEvents_Total counter
ClickPipes_SentEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5534250

# HELP ClickPipes_FetchedBytes_Total Total de bytes sin comprimir obtenidos del origen.
# TYPE ClickPipes_FetchedBytes_Total counter
ClickPipes_FetchedBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 873286202

# HELP ClickPipes_SentBytes_Total Total de bytes sin comprimir enviados a ClickHouse.
# TYPE ClickPipes_SentBytes_Total counter
ClickPipes_SentBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 477187967

# HELP ClickPipes_Errors_Total Total de errores al ingestar datos.
# TYPE ClickPipes_Errors_Total counter
ClickPipes_Errors_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 0

# HELP ClickPipes_Latency Tiempo en milisegundos entre el momento en que se produjo el registro y el momento en que se escribió en ClickHouse.
# TYPE ClickPipes_Latency gauge
ClickPipes_Latency{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 340

​

Métricas disponibles

No todas las métricas se emiten en todos los tipos de pipe. En particular, los ClickPipes de CDC exponen un subconjunto de métricas distinto al de los ClickPipes de streaming y almacenamiento de objetos.

• Streaming, almacenamiento de objetos — Kafka, Kinesis, Pub/Sub, S3 y GCS
• CDC — Postgres, MySQL, MongoDB y BigQuery
• Todas — todos los tipos de pipe

​

Transferencia de datos

Métrica	Tipo	Disponible para	Descripción
ClickPipes_FetchedBytes_Total	Contador	Streaming, almacenamiento de objetos	Total de bytes sin comprimir recuperados de la fuente.
ClickPipes_FetchedBytesCompressed_Total	Contador	Todos	Total de bytes recuperados de la fuente, tal como se leen por la red. Si los datos de origen no están comprimidos, equivale a ClickPipes_FetchedBytes_Total. En los ClickPipes de CDC, esto excluye los bytes recuperados durante la carga inicial, que se registran por separado en ClickPipes_FetchedBytesInitialLoad_Total.
ClickPipes_FetchedBytesInitialLoad_Total	Contador	CDC	Total de bytes recuperados durante la fase de carga inicial, incluidas las resincronizaciones.
ClickPipes_SentBytes_Total	Contador	Streaming, almacenamiento de objetos	Total de bytes sin comprimir enviados a ClickHouse.
ClickPipes_SentBytesCompressed_Total	Contador	Streaming, almacenamiento de objetos	Total de bytes comprimidos enviados a ClickHouse.

​

Eventos y registros

Métrica	Tipo	Disponible para	Descripción
ClickPipes_FetchedEvents_Total	Counter	Streaming, almacenamiento de objetos	Número total de registros recuperados del origen.
ClickPipes_SentEvents_Total	Counter	Streaming, almacenamiento de objetos	Número total de registros enviados a ClickHouse.
ClickPipes_FetchedEvents_PerTable	Gauge	CDC	Número de registros recuperados por tabla de destino y tipo de evento. Utiliza las etiquetas adicionales destination_table y event_type.

​

Errores

Métrica	Tipo	Disponible para	Descripción
ClickPipes_Errors_Total	Contador	Todos	Total de errores detectados durante la ingestión.

​

Latencia

Métrica	Tipo	Disponible para	Descripción
ClickPipes_Latency	Gauge (avg)	Todo	Tiempo, en milisegundos, entre que un registro se genera en el origen y se escribe en ClickHouse.
ClickPipes_SourceReplicationLatency_MiB	Gauge (avg)	CDC (solo Postgres)	Retraso del slot de replicación en el origen, en MiB. Solo lo emiten los Postgres ClickPipes.
ClickPipes_CDC_SourceLatency	Gauge (avg)	CDC	Retraso, en milisegundos, desde la marca de tiempo de un evento de origen hasta su procesamiento por ClickPipes.
ClickPipes_CDC_DestinationLatency	Gauge (avg)	CDC	Retraso, en milisegundos, desde la recepción de un evento en un ClickPipe hasta su escritura en una tabla de ClickHouse.

​

Utilización de recursos

Las métricas ClickPipes_Replica_* muestran la utilización de recursos de los ClickPipes de streaming y almacenamiento de objetos. Cada ClickPipe tiene cómputo dedicado, por lo que estos valores reflejan la utilización de ClickPipes individuales.

Métrica	Tipo	Disponible para	Descripción
ClickPipes_Replica_CPUUsage	Gauge (avg)	Streaming, almacenamiento de objetos	Uso promedio de CPU de las réplicas de ingestión, en milicores.
ClickPipes_Replica_CPULimit	Gauge (last)	Streaming, almacenamiento de objetos	Límite de CPU configurado para las réplicas de ingestión, en milicores.
ClickPipes_Replica_MemoryUsage	Gauge (avg)	Streaming, almacenamiento de objetos	Uso promedio de memoria de las réplicas de ingestión, en bytes.
ClickPipes_Replica_MemoryLimit	Gauge (last)	Streaming, almacenamiento de objetos	Límite de memoria configurado para las réplicas de ingestión, en bytes.

Las métricas ClickPipes_CDC_* muestran la utilización de recursos de los ClickPipes de CDC. Todos los ClickPipes de CDC del mismo servicio comparten cómputo, por lo que estos valores reflejan el uso combinado de todos los ClickPipes de CDC del servicio.

Métrica	Tipo	Disponible para	Descripción
ClickPipes_CDC_CPUUsage	Gauge (avg)	CDC	Uso promedio de CPU, en milicores. Compartido entre todos los ClickPipes de CDC del servicio.
ClickPipes_CDC_CPULimit	Gauge (last)	CDC	Límite de CPU configurado, en milicores. Compartido entre todos los ClickPipes de CDC del servicio.
ClickPipes_CDC_MemoryUsage	Gauge (avg)	CDC	Uso promedio de memoria, en bytes. Compartido entre todos los ClickPipes de CDC del servicio.
ClickPipes_CDC_MemoryLimit	Gauge (last)	CDC	Límite de memoria configurado, en bytes. Compartido entre todos los ClickPipes de CDC del servicio.
ClickPipes_CDC_NetworkReceiveBytes	Gauge	CDC	Ancho de banda de red de entrada, en bytes (delta por ventana de scrapeo). Compartido entre todos los ClickPipes de CDC del servicio.

​

Estado y progreso

Métrica	Tipo	Disponible para	Descripción
ClickPipes_Info	Gauge	Todos	Siempre es igual a 1. Usa la etiqueta clickpipe_state para filtrar o generar alertas sobre el estado del pipe.
ClickPipes_LastFetchedBatchId	Gauge	CDC	ID del último lote obtenido del origen.
ClickPipes_LastSentBatchId	Gauge	CDC	ID del último lote enviado a ClickHouse.

​

Páginas relacionadas

• endpoint de Prometheus — Referencia del endpoint, autenticación y configuración para herramientas externas (p. ej., Grafana, Datadog)
• Reporte de errores — Dónde se almacenan los errores de los registros y del sistema