Data Engineer

Ищем Data Engineer на крупный банковский проект.

Наша команда реализует продукт кредитования юридических лиц сегмента малого и микро бизнеса. Мы закончили процесс миграции на новые системы и сейчас начинаем активно развивать продукт и делать его лучше для клиентов. Впереди много интересных задач и идей, которые сделают нас лучше.

Обязанности:

• исследование источников данных (внешних данных, реплик АС Банка, других витрин)
• разработка и изменение витрин данных на Hadoop исходя из требований аналитиков данных
• создание алгоритмов загрузки данных в витрины с учётом историчности, уникальности, логики обновления таблиц
• написание функций для первичной обработки, преобразования и агрегации данных на Spark (Scala, Java, Python)
• Code Review изменений, предлагаемых коллегами из своей и соседних команд

Требования:

• знание SQL на уровне аналитических запросов
• умение обращаться с git, bash
• знания языков программирования Java/Scala, Python
• понимание работы Hive, Spark на Hadoop
• Будет плюсом
• опыт разработки на Spark/PySpark;
• оптимизация выполнения сценариев на Spark
• опыт использования Apache Oozie
• понимание процессов ETL, ELT

Условия:

• Оформление по ТК РФ в аккредитованную IT компанию

• Скидки на абонемент в фитнес-центр, курсы английского языка

• Гибридный график работы

• Работа в дружной и профессиональной команде

• Возможность карьерного роста и получения экспертизы в ведущих финансовых организациях страны;