Задачи, которые мы предлагаем:
Решение задач Казначейства по автоматизации управления активами и пассивами:
Полный цикл разработки всех слоёв хранилища данных (Hadoop), начиная с ядра;
Разработка и проектирование потоков данных, алгоритмов загрузки и обработки данных в Hadoop с использование Apache Spark;
Разработка и оптимизация ETL процессов, обеспечение производительности и стабильности, при необходимости участие в анализе инцидентов;
Участие в проектировании системы, решение исследовательских задач по реализации функционала;
Участие в процессе передачи системы (пром).
Требования:
Высшее ИТ-образование;
Знания принципов построения систем хранения и обработки данных;
Опыт работы с реляционными СУБД (Oracle, PostgreSQL);
Опыт программирования на Python;
Опыт промышленной разработки ETL на Apache AirFlow;
Опыт работы с аналитическими хранилищами, знание теории БД, хорошее знание SQL;
Опыт написания тестов;
Понимание методологий Agile и DevOps;
Опыт работы с ALM-системами будет большим плюсом
Знания и опыт работы с Hadoop, Airflow и Spark приветствуются
