Senior Data Engineer (Магнит Маркет)

Привет!

Мы в поисках Senior Data Engineer на проект построения и развития хранилища данных в направление Магнит Маркета.

Магнит, огромный классический brick-and-mortar ритейлер, врывается на рынок маркетплейсов, запуская свой Магнит Маркет на основе присоединившегося к нам пятого по размеру маркетплейса в России — Kazan Express — и собственной офлайн-инфраструктуры.

Основные задачи — развитие существующего фреймворка загрузки сырьевых данных и построения витрин над ними, развитие дата-каталога, движка Data Quality.

Наша команда - это 5 дата инженеров + аналитик.

Наш стек:

• Greenplum и Clickhouse как DWH;
• Airflow как оркестратор задач;
• Python для дагов и операторов в AF;
• Debezium как CDC;
• Yandex Cloud как место работы всех наших сервисов;
• DBT как основа дата каталога и шаблонизатор SQL.

• Погружаться во фреймворки загрузки данных и расчета витрин на основе задач по одному из направлений;
• Осваиваться в предметной области данных;
• Проводить code review аналитиков с целью использования ими лучших технических решений и оптимизации производительности.

Когда освоишься

• Создавать новые паттерны загрузки данных и расчета витрин для дальнейшего переиспользования;
• Развивать модель данных;
• Рефакторить текущие процессы, предлагать лучшие практики работы с данными;
• Самостоятельно вести проекты, нужные бизнесу;
• Декомпозировать их до понятных технических задач.

• Опыт в Greenplum и/или ClickHouse;
• Знания особенностей MPP систем;
• Уверенно владеть SQL (оконные функции, партицирование, агрегации, оптимизация запросов, понимание плана запроса);
• Опыт с Python достаточный для разработки операторов в Airflow (ООП) и написания пайплайнов данных из различных источников;
• Понимание принципов работы Airflow.

Мы предлагаем:

• Интересный сложный продукт с большим количеством пользователей;
• Оформление в аккредитованную ИТ-компанию;
• Конкурентоспособную заработную плату (обсуждается индивидуально);
• ДМС со стоматологией;
• Технику для работы;
• Наличие корпоративных скидок PRIMEZONE (товары, рестораны, фитнес и тд), программ лояльности, корпоративной библиотеки, курсов;
• Удаленка, либо у нас есть уютные офисы в Москве, СПб, Краснодаре или Иннополисе :)