Data Engineer

Наша команда реализует продукт кредитования юридических лиц сегмента малого и микробизнеса. Мы закончили процесс миграции на новые системы и сейчас начинаем активно развивать продукт и делать его лучше для клиентов. Впереди много интересных задач и идей, которые сделают нас лучше.

Должностные обязанности:

• исследование источников данных (внешних данных, реплик АС Банка, других витрин);
• разработка и изменение витрин данных на Hadoop исходя из требований аналитиков данных;
• создание алгоритмов загрузки данных в витрины с учётом историчности, уникальности, логики обновления таблиц;
• написание функций для первичной обработки, преобразования и агрегации данных на Spark (Scala, Java, Python);
• Code Review изменений, предлагаемых коллегами из своей и соседних команд

Требования:

• ​​​​​​​Понимание или опыт разработки на python (ETL-процессы Airflow)
• Знание специфики python для ml: библиотеки (catboost, lightgbm e t.c.)
• Опыт работы с экосистемой Hadoop (HDFS, Hive, Spark, Oozie)
• Опыт работы с популярными СУБД

Условия:​​​​​​​​​​​​​​

• Возможность участия в интересном проекте
• Возможность профессионального и карьерного роста в компании;
• Опыт работы в команде профессионалов;
• Уровень заработной платы обсуждается индивидуально.
• Гибридный формат работы (ст. Ленинский пр-кт)