Продуктовая IT компания, которая занимается разработкой и поддержкой высоконагруженных проектов для крупных компаний, в том числе с мировой известностью, основная часть которых представляет собой развлекательные онлайн-сервисы находится в поисках Lead Data Engineer.
Обязанности и задачи:
-
Руководство командой: управление группой дата инженеров, постановка задач, контроль качества и сроков, проведение code review, наставничество и развитие специалистов.
-
Развитие дата-платформы: проектирование и развитие Data Lake (s3 + Iceberg + Trino / Spark + dbt), организация слоев (Bronze/Silver/Gold), моделирование данных, обеспечение масштабируемости.
-
Стандартизация и best practices: формирование и внедрение общих стандартов и подходов, единых подходов к ETL/ELT, управлению схемами и документацией.
-
Интеграции и пайплайны: разработка и поддержка пайплайнов данных, обеспечение качества и доступности данных для аналитиков.
-
Data Quality и Governance: Поддержка и развитие системы мониторинга целостности и качества данных. Активная коллаборация с владельцами источников данных.
Требуемые знания и опыт:
-
Опыт лидства от 2 лет.
-
Опыт работы дата инженером от 5 лет.
-
Глубокое понимание принципов проектирования архитектуры хранилища данных (Kimball, Medallion, OBT)
-
Python (будет плюсом Scala / Go)
-
Отличное понимание Airflow.
-
Экспертный опыт работы с Apache Spark, Spark Streaming, Kafka.
-
Опыт работы с docker, k8s, docker-compose, CI/CD пайплайнами.
-
Опыт активного взаимодействия с командами - аналитиками, DevOps, разработкой.
-
Умение находить общий язык с бизнес пользователями.
- Жирным плюсом будет опыт работы с dbt.
Что компания может предложить:
- Возможность развивать свои компетенции и применять знания на практике;
- Возможность поработать на крупных проектах;
- Компания заинтересована в развитии своих сотрудников: готовы привлекать наставников и оплачивать курсы для повышения квалификации;
- Отсутствие бюрократии, быстрое согласование необходимых вещей;
- Оплачиваемые отпускные и больничные;
- Годовой бонус по результатам работы;
- Компенсация спортзала;
- Частичная компенсация английского языка или психолога (на выбор);
- Компания поддерживает сотрудника в важные периоды жизни;
- Предоставляем 4 day-off в год за счет компании;
- ДМС после 6 месяцев работы;
- Пересмотр заработной платы по результатам работы;
- Удаленный/офисный/гибридный формат работы.
