Team Lead DWH

Дата размещения вакансии: 02.12.2024
Работодатель: WILDBERRIES
Уровень зарплаты:
з/п не указана
Город:
Москва
Требуемый опыт работы:
От 3 до 6 лет

Мы — Wildberries. Мы — это крупнейший маркетплейс Европы, 30 млн пользователей ежедневно и технологические задачи, у которых нет аналогов. Наша компания стабильно развивается и работает в усиленном режиме: использует современный стек и новейшие технологии, разрабатывает множество новых hi-tech продуктов.

Мы хотим собрать самое обширное хранилище данных в WildBerries с целью построения моделей по данным маркетплейса и оцифровке всего бизнеса.

Мы сейчас строим инфраструктуру данных для большого количества направлений:
– Продуктовая аналитика
– Аналитика рисков
– ML (в том числе для построения MLops)
– Финансы

Для этого понадобится масштабируемая и эффективная структура хранилища, а также сильная команда, способная его поддерживать.

Поэтому мы в поиске Team Lead команды в направление финтех сервиса.

Что нужно будет делать:

  • Развернуть Spark и S3/Hadoop;

  • Заниматься построением основных витрин по продукту;

  • Собирать и автоматизировать feature store для ML;

  • Разрабатывать дизайн архитектуры хранилища для масштабирования на банковские продукты.

Что для этого потребуется:

  • От 3-х лет работы в DE;

  • Знание Python/Java;

  • Опыт работы с SQL и NoSQL базами данных;

  • Знание и работа с брокерами сообщений (у нас Kafka);

  • Опыт написания DAG для Airflow;

  • Опыт работы со Spark/Hadoop/S3.

Мы предлагаем:

  • Гибкое начало рабочего дня и гибридный формат работы: 5 офисов в Москве (с бесплатными завтраками, обедами и ужинами);
  • Вариативность оформления: трудовой договор, самозанятость, ИП или ГПХ;
  • Корпоративные скидки у партнеров, внешние программы по обучению и внутренние митапы.