Data Engineer / Дата-инженер

Мы команда SNAP IT - представители самой технологичной и стремительно эволюционирующей индустрии IT, входим в ГК Технос, которая работает на рынке IT с 1991 года.

Мы создаем ПО для ФинТеха. Мы верим, что роботизация бизнеса - это будущее, которое наступило уже сегодня. Топовые банки уже доверили нам самые сложные высокотехнологичные проекты.

Приглашаем тебя в один из интересных и высокотехнологичных проектов для Сбера.

Наш продукт - CMS сайт (раздел для Малого и микро бизнеса — sberbank.ru)

Задачи, которые тебе предстоит решать:

• исследование источников данных (внешних данных, реплик АС Банка, других витрин);
• разработка и изменение витрин данных на Hadoop исходя из требований аналитиков данных;
• создание алгоритмов загрузки данных в витрины с учётом историчности, уникальности, логики обновления таблиц;
• написание функций для первичной обработки, преобразования и агрегации данных на Spark (Scala, Java, Python);
• Code Review изменений, предлагаемых коллегами из своей и соседних команд.

Ожидаем от тебя:

• знание передовых принципов построения хранилищ данных.
• обязательно опыт работы с Apache Spark
• знание SQL, Python.
• желателен опыт работы с Python на уровне написания API, небольших скриптов и сервисов.
• знание Git.

Будет плюсом:

• опыт разработки на Spark/PySpark;
• выполнения сценариев на Spark;
• опыт использования Apache Oozie;
• понимание процессов ETL, ELT.

Что предлагаем мы:

• оформление в соответствии с ТК РФ;
• формат работы: офис (Москва, Кутузовский проспект 32, центральный офис Сбера);
• своевременную заработную плату – выплачивается 2 раза в месяц, готовы обсуждать финальную сумму на собеседовании;

• график 5/2 с 9:00 до 18:00; СБ, ВС - выходные;

• ДМС+стоматология, изучение английского языка;
• предоставление техники;
• мы входим в список IT лицензированных аккредитованных компаний;

• отсутствие бюрократии, прозрачность, быстрое принятие решений, а также уважение к каждому члену команды;

• корпоративные активности: профессиональные митапы, изучение английского.
• поддержка в значимых событиях.