Разработчик DWH

Амбициозный проект – построение корпоративного хранилища данных, которое смогло бы объединить данные из всех систем-источников и локальных хранилищ данных и сделать их консистентными и удобными для построения консолидированной отчетности.

Обязанности:

• создание и развитие систем класса DWH, MDM, НСИ, подключение новых источников данных;
• анализ постановки задач ETL-разработки;
• разработка/рефакторинг ETL-процессов;
• сопровождение процесса тестирования и вывода в продуктив ETL-процессов;
• взаимодействие с командой системных аналитиков в части постановки задачи на разработку и тестирования функционала;
• взаимодействие с командой инфраструктуры в части анализа системных сбоев(отказов), постановки задач развертывания и настройки необходимой аппаратной и программной инфраструктуры;
• подготовка и согласование с командой эксплуатации документации и описания алгоритмов получения данных;
• решение задач 3ЛТП, поступающих от команд эксплуатации DWH;
• взаимодействие с командой системной разработки, в части постановки задач на разработку и принятия в эксплуатацию нового функционала модулей DWH.

Требования:

• Опыт работы в роли разработчика, функционального разработчика, системного аналитика
• Опыт работы в проектах построения информационных систем и хранилищ в качестве функционального разработчика, системного разработчика
• Обладать знаниями в области методологии проектирования хранилищ данных
• Опыт подготовки технической документации (инструкций по эксплуатации, ТЗ)
• Владение SQL, PL/SQL, OLAP, понимание принципов ETL
• Желательно знание и опыт работы с MPP СУБД Greenplum
• Желательно знание и практические навыки работы с технологиями BigData: Apache Hadoop, MapReduce (TEZ, YARN), HDFS, Kafka
• Знание ОС Unix на уровне опытного пользователя
• Желательно владение языками программирования: Python, java
• Желательно иметь навыки работы с инструментами ETL: Apache NiFi, Apache AirFlow, Apache Spark, IBM DataStage, IBM CDC,
• Приветствуется опыт построения витрин, анализа планов запросов, оптимизации запросов