LIAN — системный интегратор с фокусом в аналитике и управлении данными.
Мы работаем в трех направлениях:
1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.
2. Заказная разработка аналитических систем. Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.
3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации. Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов. Среди наших заказчиков - крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.
Мы ищем инженера, который станет владельцем аналитической инфраструктуры на базе ClickHouse.
Обязанности:
-
Трансформация сырых данных (бинлоги, события, транзакции) в оптимизированные витрины для BI и ad-hoc аналитики.
-
Выбор модели данных (звезда, снежинка, плоские таблицы) в зависимости от бизнес-задач.
-
Проектирование таблиц под MergeTree:
-
корректный выбор ORDER BY и PRIMARY KEY;
-
партиционирование (PARTITION BY);
-
настройка TTL;
-
использование Skip Indexes;
-
работа с материализованными представлениями.
-
-
Оптимизация запросов и структуры хранения данных.
2. Контроль качества данных -
Разработка автоматических проверок и тестов для витрин (контрольные суммы, сверка с эталоном, поиск «дыр» в данных).
-
Построение мониторинга качества данных и SLA.
-
Анализ и устранение медленных запросов.
-
Работа с EXPLAIN, system.tables, system.query_log.
3. Обучение и стандартизация -
Разработка внутренних гайдлайнов по работе с ClickHouse.
-
Проведение код-ревью SQL-запросов и логики трансформаций.
-
Проведение внутренних митапов и консультаций для аналитиков.
-
Формирование культуры эффективной работы с данными.
4. Администрирование и эксплуатация -
Настройка конфигурации серверов (память, потоки, max_memory_usage и др.).
-
Работа с распределенным кластером: шардирование, репликация.
-
Оптимизация нагрузки и профилей настроек (profiles).
-
Поддержка streaming ingestion (Kafka → ClickHouse).
Требования:
-
Коммерческий опыт работы с ClickHouse от 1–3+ лет.
-
Глубокое понимание движка MergeTree:
-
первичные и разреженные индексы;
-
гранулы;
-
влияние ORDER BY на производительность.
-
-
Опыт проектирования схем хранения данных под аналитические нагрузки.
-
Продвинутый SQL:
-
оконные функции;
-
сложные JOIN (с учетом ограничений ClickHouse);
-
работа с массивами, Nested-типами.
-
-
Опыт построения ETL / ELT-пайплайнов.
-
Навыки валидации и тестирования данных.
-
Готовность выступать внутренним экспертом и наставником.
Будет плюсом:
-
Опыт администрирования Linux.
-
Работа с распределенными кластерами ClickHouse.
-
Опыт работы с Apache Kafka и ClickHouse Kafka Engine.
-
Знание PostgreSQL и понимание различий OLTP vs OLAP.
-
Опыт работы в highload-проектах.
Условия:
- Трудоустройство по ИП/СЗ
- Гибридный график работы, 1-2 дня в офисе, офис в г. Москва, м. Кутузовская
- Работа с современными и передовыми технологиями
- Широкие возможности для профессионального и карьерного роста
