Data Engineer

Мы ищем Инженера данных / Data Engineer в центральную инженерную команду Data Management

Цель команды Data Management – внедрить процессы управления данными, а также практики и системы, которые позволят всей компании контролировать свои ресурсы в виде данных и управлять ими. Мы отвечаем за работу всего data-pipeline от исходной системы до отчета.

Основной фокус центральной команды направлен на разработку собственных дата-продуктов и развитие инженерной практики по работе с данными в компании.

Вам предстоит:

• разрабатывать и оптимизировать пайплайны обработки данных (как batch, так и streaming);
• интегрировать новые источники данных в Data Lake;
• участвовать в развитии фреймворка по качеству данных;
• проводить код-ревью.

Мы ожидаем, что вы:

• разрабатывали пайплайны обработки данных в Airflow;
• оптимизировали Spark-приложения;
• понимаете работы СУБД и принципы построения хранилищ данных;
• имеете опыт работы с Hadoop (Spark, HDFS, YARN etc.);
• Владеете SQL, Python/Scala/Java.

Будет здорово, если вы:

• работали с Kafka, Nifi;
• имеете опыт оптимизации потребления ресурсов;
• готовы участвовать в развитии лучших инженерных практик внутри компании.

Со своей стороны мы предлагаем:

• конкурентную заработную плату;
• интересные и разнообразные задачи;
• возможность поучаствовать в построении стремительно развивающейся платформы данных;
• открытость и гибкость к новым подходам, практикам и инструментам;
• дружную команду настоящих профессионалов, готовых всегда оказать поддержку;
• возможность работать удаленно и по желанию посещать комфортный офис в Москве.