Наши основные задачи:
-
Разработка функционала загрузки в хранилище данных, расчета витрин с целью предоставления данных пользователям в виде экспортных представлений, отчетных форм, средств визуализации BI Форсайт.
- Организация процессов поставки данных, настройка интеграции и создания витрин данных.Разработка новых и доработка уже существующих интеграционных процессов в части: расширения атрибутивного состава интеграционного процесса; повышения детализации данных; изменения инструмента реализации интеграционного процесса; изменения системы источника.
- Выстраивание pipeline по сбору и обработки данных.
- Проектирование и разработка ETL-потоков данных, обработка и хранение информационных массивов.
- Участие в подготовке технической документации (S2T, сайзинг и т.д.).
- Формирование и согласование отчетности в процессе управления технологическими задачами.
Для нас важно:
-
Опыт работы в роли Data Engineer не менее 2 лет.
-
Опыт работы от 2х лет в финансовом секторе: Банки, страховые компании, финансовые организации (биржа, депозитарии, управляющие компании, брокеры).
-
Опыт реализации ИТ задач от 2 лет (автоматизация процессов, доработка и развитие хранилищ данных).
-
Понимание принципов и знание методологии построения хранилищ данных.
-
Опыт проектирования витрин данных и хранилищ данных.
-
Знание типовой инфраструктуры DWH.
-
Опыт работы с реляционными базами данных.
-
Понимание ETL/ELT процессов.
-
Чтение плана выполнения запросов.
-
Опыт работы с Apache Airflow, знание Python.
-
Опыт работы c CI/CD.
-
Опыт работы с ArenadataDB, PostgreSQL.
-
Понимание принципов CDC.
-
Отличное знание SQL, опыт оптимизации запросов.
-
Умение читать и разбираться в реализации чужого кода.
-
Готовность работать на территории РФ.
-
Оконченное высшее либо среднее специальное образование.
