system.s3_queue_metadata

Содержит текущее количество обработанных, обрабатываемых и завершившихся с ошибкой узлов в Keeper для каждого объекта метаданных S3Queue, а также при необходимости их содержимое. В отличие от system.s3queue_metadata_cache, которая показывает кэш в памяти, эта таблица считывает состояние непосредственно из Keeper.

​

Описание

Содержит текущее количество узлов со статусами processed, processing и failed в Keeper для каждого объекта метаданных S3Queue, а также их содержимое по запросу. В отличие от system.s3queue_metadata_cache, в которой отображается кэш в памяти, эта таблица получает состояние непосредственно из Keeper.

​

Столбцы

• zookeeper_path (String) — Путь к метаданным в ZooKeeper. Для очереди во вспомогательном ZooKeeper это ключ фабрики <zookeeper_name>:<path>, а не непосредственный путь в Keeper.
• processed_nodes_count (Nullable(UInt64)) — Количество узлов в каталоге processed в Keeper. Устанавливается только в режиме unordered: в режиме ordered нет отдельных узлов обработанных файлов (см. processed_path), поэтому значение равно NULL.
• processing_nodes_count (UInt64) — Количество узлов в каталоге processing в Keeper
• failed_nodes_count (UInt64) — Количество узлов в каталоге failed в Keeper
• processed_nodes (Map(String, String)) — Содержимое каталога processed в Keeper (имя узла -> данные узла). Заполняется только в режиме unordered. Получается только при выборе этого столбца.
• processing_nodes (Map(String, String)) — Содержимое каталога processing в Keeper (имя узла -> данные узла). Получается только при выборе этого столбца.
• failed_nodes (Map(String, String)) — Содержимое каталога failed в Keeper (имя узла -> данные узла). Получается только при выборе этого столбца.
• processed_path (Map(String, String)) — Путь к последнему обработанному файлу для каждого указателя обработанных данных в Keeper (относительный путь указателя -> путь к последнему обработанному файлу). Заполняется только в режиме ordered; содержит данные для единственного указателя, а также указателей для каждого бакета и каждой партиции. Получается только при выборе этого столбца.