Data Engineer

Заказчик – крупный российский продуктовый ритейлер, лидер офлайн- и онлайн-рынка продуктов питания. Компания управляет портфелем брендов сетевых магазинов, собственными службами логистики и несколькими цифровыми сервисами для партнеров.

Проектов несколько, они разные по содержанию. Конкретный проект предложим после собеседования.

• помогать коллегам DS в оптимизации их работающих пайплайнов;
• взаимодействовать с коллегами DevOps по настройке окружений, деплоя кода, работы с инфраструктурой компании;
• настраивать и поддерживать стенды с которых запускаются задания;
• общаться с коллегами DQ для выяснения деталей наполнения данных, участвовать в составлении БТ к данным;
• писать ETL пайплайны;
• решать проблемы с данными при задержке их доставки;
• настраивать мониторинг разнообразных процессов.

• опыт работы в роли Data Engineer от 3-х лет;
• знания Python 3.7 + Spark 2.4 / Spark 3.0 (структуры данных, алгоритмы, концепции языка);
• знания SQL, опыт оптимизаций SQL-запросов и понимание оптимизаций на уровне spark catalyst;
• опыт работы с: Spark, Hadoop, Hive, Linux;
• опыт проектирования схем данных в БД, понимание концепций OLAP и OLTP;
• опыт работы с MPP базами данных;
• опыт работы с Airflow;
• опыт работы с PostgreSQL и ClickHouse;
• опыт использования Pandas и NumPy для продвинутой аналитики;
• опыт работы с Kubernetes (K8S);
• опыт Devops (Docker, Gitlab-CI, настройка окружения на серверах и др.);
• опыт проектирования высоконагруженных приложений или приложений работы с большими данными.

Что мы предлагаем?

Хорошая зарплата

• размер зарплаты обсуждаем отдельно с каждым кандидатом;
• доплачиваем за менторство, ведение обучающих курсов, ревью проектов и участие в других профактивностях компании.

Развитие в профессии

• долгосрочные проекты от российских заказчиков;
• возможность выбирать или менять проект и пробовать себя в новых направлениях;
• прозрачная система Performance Review;
• ментор на все время работы в компании.

Комфорт и свобода

• свободный релокейт между офисами компании;
• возможность выбирать формат работы: удаленный, из офиса или гибридный;
• комфортные офисы в городах-центрах разработки;
• поэтапная система адаптации новых сотрудников.

Обучение

• корпоративный портал с материалами для изучения любого нового стека и повышения уровня по своей специальности и не только;
• участие в технических митапах и конференциях в качестве гостя и спикера.

Социальный пакет

• медицинская страховка (+стоматология);
• частичная компенсация спортивных абонементов;
• компенсация расходов на оплату коворкинга;
• 3 sick-days в год;
• оплачиваемый бенч;
• оплачиваемый отпуск 28 дней в году;
• оплачиваемые больничные.

Корпоративная жизнь

• корпоративы и тимбилдинги;
• детские праздники и мастер-классы с подарками и сладостями для семей сотрудников