Ведущий инженер больших данных / Senior Data Engineer

BIA-Technologies – бизнес-интегратор и разработчик инновационных программных решений. Более 10 лет мы создаём IT-продукты и оптимизируем процессы для повышения эффективности бизнеса своих заказчиков.
В связи с расширением задач по data-lake направлению - мы ищем Ведущего инженера больших данных с уверенными знаниями и опытом применения Hadoop-технологий и сопутствующего стека, включая инструменты на базе Python.

Чем предстоит заниматься:

• Развитие озера данных на базе Hadoop: проектирование озера данных, написание пайплайнов для подключения новых источников, написание интеграционных механизмов, в том числе для передачи данных в DWH, реализация механизмов параллельной обработки данных на базе Hadoop.

Что важно:

• Значительный (от 3 лет) опыт работы с Hadoop и его экосистемой Hive, Spark, Kafka, Airflow и т.д;
• Хорошее знание SQL;
• Уверенный опыт программирования на Python;
• Отличное понимание процессов ETL/ELT и как их применять;
• Понимание принципов CI/CD;
• Широкий кругозор в технологиях хранения, обработки и анализа данных (СУБД, ETL-инструменты, BI-решения и т.д.)

Будет плюсом:

• Опыт в администрировании Linux;
• Опыт работы с RDBMS: MSSQL Server и/или PostgreSQL;
• Опыт работы с Docker, Kubernetes;
• Опыт в областях: машинное обучение, интеллектуальный анализ данных, рекомендательные системы.

Мы предлагаем:

• Достойный уровень заработной платы, официальное оформление в аккредитованной ИТ компании, социальные гарантии;
• Комфортные условия: гибкое утро, удаленный или гибридный формат работы;
• ДМС + Программа «Кафетерий льгот»: сотрудники за счет компании могут компенсировать расходы на страхование, обучение, спорт, спортивный инвентарь;
• Развитие и обучение: ежегодный performance review, внутреннее и внешнее обучение.