Санкт-Петербург
Компания, занимающаяся разработкой и поддержкой высоконагруженных проектов для крупных компаний, в том числе с мировой известностью, основная часть которых представляет собой B2B решения развлекательной, игровой и спортивной тематики находится в поиске Senior Data Engineer.
Чем предстоит заниматься:
- Разрабатывать и поддерживать ETL/ELT пайплайны для обработки данных из PostgreSQL, MongoDB, ClickHouse.
- Выполнять интеграцию источников данных в Data Lakehouse.
- Оптимизировать процессы загрузки и обработки данных.
- Работать с потоками данных через Kafka и обработкой в Spark.
- Анализировать текущие пайплайны и внедрять улучшения.
- Интегрировать данные между Data Lakehouse и BI-системой.
- Оптимизировать аналитические запросы для визуализации отчетов и дашбордов.
Необходимые навыки и опыт:
- Опыт работы с большими данными от 2+ лет.
- Реализация интеграции с реляционными и NoSQL базами.
- Опыт работы с ClickHouse для аналитических запросов.
- Опыт работы с DBT и Trino.
- Знание инструментов CDC (Debezium, Kafka Connect).
- Опыт построения Lakehouse через анализ и улучшение текущих подходов.
- Уверенное владение PostgreSQL, MongoDB, ClickHouse.
- Знание Python и использование опыта в задачах обработки данных.
- Опыт работы с инструментами оркестрации (Airflow, NiFi).
- Знание Apache Spark, Kafka.
- Навыки аудита и оптимизации ETL-процессов.
Будет плюсом:
- Опыт работы с BI инструментами (Power BI, Qlik, Metabase, Superset)
Что компания может предложить:
Социальные гарантии:
- Белая заработная плата 2 раза в месяц, которая зависит от пожеланий, скиллов и опыта;
- Годовой бонус (13-я ЗП);
- Реферальная программа за успешную рекомендацию кандидата;
- ДМС, подарки для сотрудников и их детей.
Комфортные условия работы:
- Формат работы - офис/гибрид/удаленно;
- Гибкое начало рабочего дня;
- 4 day-off в год за счет компании;
- Бесплатные корпоративные обеды и сладости;
- Абонемент в спортзал за счет компании;
- Рабочее место оборудовано современной техникой с учетом Ваших пожеланий;
- Отсутствие бюрократии, вопросы решаются оперативно, без многочисленных согласований.
Перспективы самореализации и развития:
- Наличие большого количества задач, которые дают возможность материального и профессионального роста;
- Поездки на ИТ-конференции, митапы, учебные курсы за счет компании;
- Компенсация оплаты занятий по английскому языку;
- Большая высококвалифицированная команда, тимлид, техлид, проджект менеджер, к которым всегда можно обратиться :)