Big Data Engineer (Data Management Platform)

Мы в поиске Middle Big Data Engineer в направление дата инжиниринга, который будет участвовать в разработке проекта DMP.

Data Management Platform (Профиль пользователя) – внутренний дата-продукт департамента развития рекламной платформы, который ставит цель повысить персонализацию рекламы Lamoda и увеличить потенциал анализа целевой аудитории.

Чем предстоит заниматься:

• Разрабатывать ETL пайплайны для построения пользовательских сегментов на Airflow для Spark, Streaming, Hive, Trino etl;
• Оптимизировать запросы и управлять хранением данных в ClickHouse для обеспечения высокой производительности;
• Строить онлайн сегментацию на основе realtime данных Clickstream;
• Создавать стабильные отказоустойчивые и масштабируемые аналитические сервисы;
• Внедрять процесс мониторинга данных и Data Quality;
• Взаимодействовать с продуктовыми и системными аналитиками, оптимизировать сложные SQL запросы, формировать культуру работы с данными;
• Анализировать и внедрять инструменты инжиниринга данных.

Мы ожидаем:

• Опыт работы со стеком Hadoop (YARN, HDFS, HBase, Hive);
• Опыт работы в Spark;
• Опыт работы с Airflow;
• Опыт работы с одним из языков программирования (Python, Scala, Java);
• Опыт написания юнит/интеграционных тестов;
• Хорошее понимание СУБД, SQL;
• Страсть к инженерным наукам и информатике вокруг данных.

Будет плюсом:

• Опыт сбора и обработки требований;
• Опыт работы с Docker.