Инженер данных / Data Engineer

В аккредитованную ИТ компанию «Коулмэн Тех» в данный момент ведем подбор на вакансию "Инженер данных / Data Engineer".

Наши партнёры – крупные FMCG компании.

О команде:

Цель команды Data Management – внедрить процессы управления данными, а также практики и системы, которые позволят всей компании контролировать свои ресурсы в виде данных и управлять ими. Мы отвечаем за работу всего data-pipeline от исходной системы до отчета.

Основной фокус центральной команды направлен на разработку собственных дата-продуктов и развитие инженерной практики по работе с данными в компании.

Чем предстоит заниматься:

• разрабатывать и оптимизировать пайплайны обработки данных (как batch, так и streaming);
• интегрировать новые источники данных в Data Lake;
• участвовать в развитии фреймворка по качеству данных;
• проводить код-ревью.

Мы ожидаем:

• опыт работы от 2-х лет в аналогичной должности;
• опыт разработки пайплайнов обработки данных в Airflow;
• оптимизация Spark-приложений;
• понимание работы СУБД и принципы построения хранилищ данных;
• опыт работы с Hadoop (Spark, HDFS, YARN etc.);
• уверенное владеете Python(в приоритете)/Scala/Java, SQL;
• опыт работы с Kafka, Nifi;
• опыт оптимизации потребления ресурсов;
• готовность участвовать в развитии лучших инженерных практик внутри компании.

Условия, которые мы предлагаем:

• официальное трудоустройство по ТК РФ;
• работа в команде профессионалов в крупнейшей международной FMCG компании с развитыми корпоративными ценностями и стандартами;
• для работы выдаём корпоративный ноутбук;
• график работы: 08:00-17:00 (МСК), понедельник-пятница.
• формат: удалённая работа.