Оружейный переулок 41
Издательский дом «Коммерсантъ» — ведущее деловое медиа России. Мы строим и развиваем собственную аналитическую платформу для сбора данных из разных источников, их унификации и формирования дашбордов для бизнеса и редакции. Наши цифровые активы — kommersant.ru, autopilot.ru, myweekend.ru — ежедневно генерируют большие объёмы данных. Мы ищем Data Engineer, который поможет нам сделать пайплайны надёжными, прозрачными и эффективными.
Чем предстоит заниматься:
· Оценить текущие ETL-процессы и разработать рекомендации по их изменению, затем заняться их реализацией.
· Разрабатывать и поддерживать ETL/ELT-пайплайны по спецификациям.
· Настраивать интеграции с источниками данных (API / файлы / БД), обеспечивать стабильную доставку данных.
· Писать SQL-трансформации и собирать витрины данных в ClickHouse (агрегации, инкрементальные загрузки, оптимизация запросов).
· Разрабатывать и сопровождать DAG’и в Apache Airflow (расписания, зависимости, ретраи).
· Поддерживать и мониторить существующие пайплайны: алерты, разбор инцидентов, устранение причин падений.
· Участвовать в тестировании и отладке data pipelines (проверки качества, корректность расчетов, контроль «пустых» загрузок).
· Вести документацию: описания источников, схем, витрин, логики расчетов и изменений.
Наши ожидания:
· Опыт работы в data engineering или backend-разработке с фокусом на данные от 2 лет.
· Опыт построения отказоустойчивых DWH / Data Lake.
· Хорошее знание SQL (JOIN, оконные функции, агрегации, оптимизация запросов).
· Опыт работы с ClickHouse и реляционными СУБД (PostgreSQL, MySQL и др.).
· Python на уровне уверенного написания скриптов для загрузки/обработки данных (requests, pandas, работа с CSV/JSON, базовые принципы тестирования).
· Понимание принципов ETL/ELT.
· Опыт работы с Apache Airflow (создание DAG’ов, Operators/Sensors).
· Linux/Ubuntu: командная строка, базовое администрирование, понимание логов, cron, systemd, pm2.
Будет вашим преимуществом:
· Опыт работы с Redash (создание дашбордов, подключение источников).
· Знание инструментов мониторинга (Prometheus, Grafana).
· Понимание работы с большими данными (партиционирование, шардирование).
· Опыт использования Docker / Kubernetes для оркестрации data-приложений.
Мы предлагаем:
· Оформление по ТК РФ.
· График работы: гибридный формат (часть времени в офисе, часть — удаленно). 5/2 с 10:00 до 19:00.
· Испытательный срок 3 месяца. По окончании — ДМС и другие опции соцполитики.
· Уровень дохода: конкурентная заработная плата, обсуждается с успешным кандидатом.
· Работа в престижном бизнес-центре класса А (м. Маяковская, Оружейный переулок, 41) или удаленно.
· Период адаптации, профессиональная команда, доступ к эксклюзивным данным и инструментам.
