з/п не указана
Москва
От 3 до 6 лет
Мы находимся в поисках коллеги на проект по автоматизации кредитного процесса. Команда будет заниматься разработкой и выводом витрин данных в промышленный контур (Hadoop), исследованием новых источников данных, строить интеграцию со смежными системами.
Мы ищем специалиста в области DE, готового делиться своими знаниями с коллегами. Планируется расширение команды под цели миграции функционала легаси-системы на целевую платформу. Впереди большое количество задач и широкий горизонт для их технической реализации. Есть возможность стоять у истоков проекта и непосредственно влиять на его технологическое развитие.
Твои задачи:
- Исследование источников данных (внешних данных,
реплик А. С. Банка , других витрин) - Разработка и изменение витрин данных на Hadoop исходя из требований аналитиков данных
- Создание алгоритмов загрузки данных в витрины с учётом историчности, уникальности, логики обновления таблиц
- Написание функций для первичной обработки, преобразования и агрегации данных на Spark (Scala, Java, Python)
- Code Review изменений, предлагаемых коллегами из своей и соседних команд
Мы ждем от тебя:
- Знание SQL на уровне аналитических запросов
- Умение обращаться с git, bash
- Знания языков программирования Java/Scala, Python
- Понимание работы Hive, Spark на Hadoop;
Будет плюсом:
- Опыт разработки на Spark/PySpark
- Оптимизация выполнения сценариев на Spark
- Опыт использования Apache Oozie
- Понимание процессов ETL, ELT
Что мы обеспечим:
- Современный стек технологий, микросервисная архитектура приложений
- Команда профессионалов, где каждый увлечен своим делом и готов поделиться экспертизой, а также возможность нести новые знания и технологии
- Работа в гибкой методологии разработки
- Безграничная прокачка скиллов
- Работать в офисе в Москве
- Поездки на конференции и тренинги за счет компании, внутренние семинары, внутренние митапы, мы очень любим учиться новому
- Новая техника для комфортной работы
- Сессии профессионального развития 2 раза в год, результатом которых является план индивидуального развития каждого сотрудника и получение обратной связи.
- Корпоративная культура со своими ценностями и традициями, в которой каждый чувствует себя частью команды
