Агентная аналитика

Узнайте, как ClickHouse поддерживает агентную аналитику

ИИ-нагрузки предъявляют единый набор требований независимо от сценария использования:

• высокий параллелизм запросов
• время ответа менее секунды
• полные данные без потерь в большом масштабе

В этом документе объясняется, как ClickHouse отвечает этим требованиям в сфере Real-time аналитики, хранилищ данных и обсервабилити, а также как эти сценарии использования объединяются в единую платформу данных для агентных приложений.

​

ClickHouse для агентных рабочих нагрузок

Real-time аналитика

Возможности приложений на базе ИИ — например, сгенерированные инсайты, обнаружение аномалий, рекомендации и интерфейсы на естественном языке для работы с данными продукта — требуют тесного цикла обратной связи между транзакционной записью и аналитическим чтением. Стандартная архитектура для этого — Postgres + ClickHouse:

• Postgres отвечает за транзакции и состояние приложения, ClickHouse — за аналитику.
• ClickHouse обеспечивает быструю ингестию, выполнение запросов к миллиардам строк менее чем за секунду и уровень параллелизма, необходимый клиентским приложениям.

По мере того как приложения становятся агентными, эта связка приобретает ещё большее значение. Агентам нужно непрерывно запрашивать актуальные данные продукта, что увеличивает и частоту запросов, и параллелизм. ClickHouse решает эту задачу с помощью нативной интеграции Postgres + ClickHouse, которая обеспечивает автоматическую репликацию данных и единый опыт для разработчиков, избавляя от необходимости управлять отдельным CDC-конвейером.

Хранилище данных

Интерфейсы аналитики на естественном языке (иногда их называют AI Analyst) выходят из стадии экспериментов в продакшн. Пользователи задают вопросы простым английским языком и ожидают получить ответы за секунды.

С точки зрения инфраструктуры это означает, что один запрос на естественном языке порождает не один SQL-запрос — как правило, их возникают десятки за короткое время, пока агент исследует доступные датасеты и оценивает несколько цепочек рассуждений. В результате рабочие нагрузки внутренних аналитиков начинают напоминать внешние клиентские рабочие нагрузки по профилю параллелизма и задержки.

Традиционные хранилища данных проектировались для редких пакетных запросов. Они оптимизированы под общую пропускную способность множества запросов, а не под время ответа менее секунды при высоком параллелизме. Запуск рабочих нагрузок AI Analyst на такой архитектуре приводит либо к неприемлемой задержке, либо к затратам, которые растут быстрее, чем создаваемая ими ценность.

ClickHouse был создан для интерактивных запросов с высоким параллелизмом: данные петабайтного масштаба, тысячи одновременных пользователей, время ответа менее секунды при работе с миллиардами строк.

Обсервабилити

Традиционные стеки обсервабилити построены на трёх отдельных опорах — метриках, журналах и трассировках, — при этом данные предварительно агрегируются и сэмплируются, чтобы контролировать затраты на хранилище. Такой компромисс приемлем для сценариев с участием человека, но не подходит для AI SRE. Автоматизированный триаж инцидентов, анализ первопричин и корреляция аномалий требуют детализированных данных высокой кардинальности с длительным сроком хранения. AI-агент, который сопоставляет шаблон ошибки с событием развертывания трёхдневной давности, не сможет работать с сэмплированными журналами или прореженными метриками.

Архитектура, поддерживающая AI SRE, — это единый источник истины на основе широких структурированных событий, хранящихся в столбцовом хранилище. События с полной детализацией сохраняются один раз, а метрики, трассировки и SLO вычисляются из них во время выполнения запроса, а не предварительно агрегируются при ингестии. ClickHouse хорошо подходит для этой модели:

• Высокое сжатие журналов и событийных данных
• Выполнение запросов к широким событиям высокой кардинальности менее чем за секунду
• Эффективная ингестия при объёмах инфраструктуры уровня продакшн
• Модель затрат, основанная на compute и хранилище, а не на оплате за каждый ГБ ингестии

ClickStack — это стек обсервабилити от ClickHouse, построенный по этой модели и использующий OpenTelemetry в качестве слоя сбора данных. Он доступен как решение с открытым исходным кодом и как управляемый сервис.

​

Сближение хранилищ данных и обсервабилити

Хранилища данных и обсервабилити исторически были отдельными направлениями со своими поставщиками, заказчиками и стеками. Но сегодня это разделение все чаще оказывается скорее условностью, чем технической необходимостью. Теперь обе области пишут в объектное хранилище. Обеим нужны интерактивные запросы с низкой задержкой и высоким параллелизмом. И на уровне данных одни и те же события часто хранятся дважды — один раз в платформе обсервабилити и один раз в хранилище данных, — а между ними находится хрупкий слой синхронизации. Если хранить все это в открытых форматах один раз, чтобы к этим данным могли обращаться и AI Analyst, и AI SRE, это устраняет дублирование и делает контекст доступным в обоих рабочих процессах.

​

Уровень платформы: интерфейсы для AI-агентов и обсервабилити LLM

Для полноценной агентной аналитической платформы помимо базы данных нужны еще два компонента.

Интерфейсы для AI-агентов

Когда AI-агенты становятся основным интерфейсом для доступа к данным, платформа работы с данными должна предоставлять свои возможности в формате, с которым агенты могут работать, — через API, совместимые с MCP, интерфейсы на естественном языке и агентные фреймворки, интегрируемые без отдельной доработки под каждый сценарий использования. Agentic Data Stack объединяет ClickHouse и LibreChat, предлагая готовое решение для развертывания аналитических агентов поверх ваших данных.

Обсервабилити LLM

По мере распространения агентов трассировка их выполнения, мониторинг производительности моделей, отслеживание затрат и отладка сбоев в многошаговых рабочих процессах становятся ключевым инженерным требованием. Langfuse работает на ClickHouse Cloud и обеспечивает обсервабилити LLM в реальном времени и в больших масштабах.