Data Engineer

Обязанности:

- Разработка пайплайнов для обработки данных;
- Создание витрин, маппингов для данных;
- Обследование и профилирование банковских источников данных, исследование моделей данных источников;
- Валидация и проверка качества данных, поиск проблем в данных;
- Участие в создании архитектуры;
- Участие во встречах со своей и смежными командами. Обсуждение и предложение способов реализации текущих проектов.

Требования:

- Опыт работы в роли data engineer ≈ 3 года;
- Опыт работы со всеми указанными инструментами по направлению Hadoop: HDFS, MapReduce, Yarn, Hadoop Common, Apache Tez, Apache Hive и/или Spark SQL, Apache Kafka;
- Опыт работы с реляционными БД (Oracle DB и/или PostgreSQL (предпочтительно) и/или MySQL) и понимание общих концепций работы РСУБД (нормальные формы, SCD, звезды/снежинки);
- Уверенные знания SQL и опыт оптимизации производительности SQL запросов (в т.ч. оконные функции, pivot, анализ плана запросов, грамотное использование индексов);
- Понимание концепций проектирование Data Engineer (кимбалл/имнон, dv/anchor, лямбда/каппа);
- Опыт разработки на Python
- Опыт разработки ETL, ELT
- Опыт участия в оптимизации процессов сбора, первичная обработка и хранение большого объема данных из различных типов источников;
- Опыт интеграции инфраструктурных компонент c сторонними системами;
- Опыт оптимизации моделей хранения данных;
- Опыт командной разработки с использованием программных продуктов Confluence и Jira;
- Опыт работы, как в каскадных (waterfall), так и в гибких методологиях (Agile и/или DevOps и/или Scrum) разработки.

Условия: Офисный формат

• Работа в аккредитованной ИТ-компании;
• Оформление в соответствии с ТК РФ с первого дня работы;
• ДМС с первого дня работы (включая стоматологию);
• Корпоративный спорт: скидки на посещение фитнес-клубов, футбольная и волейбольная секции, собственный йога класс;
• Работа в команде, использующей гибкий подход к разработке;
• Работа в развивающемся IT-проекте с командой специалистов высокого уровня, возможность развития и обмена опытом