з/п не указана
Москва
Пресненская набережная 10блокС
Пресненская набережная 10блокС
От 1 года до 3 лет
Команда DWH отвечает за формирование основных аналитических витрин компании
Наша цель: предоставлять качественные и своевременные данные по логистическим процессам компании в удобном для аналитики виде. Все ключевые SLA-метрики (pay-to-delivery, first-scan-to-delivery, мониторинг провайдеров и маршрутов и тд) считаются единообразно и на данных DWH
Чем предстоит заниматься:
- Выявление потребностей бизнеса и формализация требований к витринам данных в логистическом домене (мониторинг посылок, SLA-метрики, анализ провайдеров, маршруты, стадии доставки)
- Миграция и рефакторинг логистических витрин в контур DWH
- Исследование источников данных: интеграции логистических потоков, Kafka-инкременты, справочники обогащения
- Проектирование и разработка витрин данных
- Разработка и поддержка Data Quality проверок (Soda DQ)
- Оркестрация ETL-пайплайнов в Airflow: DAG'и, сенсоры, зависимости, backfill-стратегии
- Участие в разборе инцидентов с данными, расследование расхождений и консультация потребителей витрин
- Поддержание документации и базы знаний команды.
Стек: Hadoop (HDFS/YARN), PySpark, ClickHouse, Airflow
Мы ожидаем от Вас:
- Продвинутый уровень владения SQL и понимание принципов построения хранилищ данных (моделирование, слои, grain, SCD)
- Опыт работы с большими объёмами данных (миллионы+ строк на партицию) от 2 лет в роли DWH/аналитика данных
- Понимание ETL/ELT-процессов и опыт проектирования пайплайнов обработки данных
- Умение формализовать бизнес-требования и переводить их в технические спецификации витрин
- Ответственность, самостоятельность, навыки коммуникации с бизнес-заказчиками и смежными командами.
Будет плюсом:
- Опыт работы с Spark и Hadoop-стеком (HDFS, YARN, Hive)
- Опыт оркестрации в Apache Airflow (DAG'и, операторы, сенсоры)
- Опыт с Soda DQ или другими фреймворками Data Quality
- Понимание логистических процессов e-commerce (доставка, last-mile, cross-border).
Условия:
- Сильная команда, с которой можно расти
- Петабайты данных и огромные мощности для их переваривания
- Сложные, нетривиальные задачи для маркетплейса с миллионами пользователей
- Возможность влиять на процесс и результат
- ДМС со стоматологией и страхование от несчастных случаев (со 100% страхованием детей)
- Ноутбук MacBook Pro / Windows.