Архитектор DWH (Витрины Розничного бизнеса)

Основные задачи:

• Выполнение функциональных обязанностей в рамках программы по созданию целевой платформы данных на базе стека технологий от Arenadata; а так же Postgresql, Hadoop, Airflow, Spark, Flink, Kafka;
• Взаимодействие с техническими-владельцами систем источников с целью уточнения семантики данных, особенностей бизнес-процессов и используемых объектов;
• Разработка стандартов загрузки, хранения и доступа к данным в Greenplum, архитектурный надзор за реализацией конвейера Данных;
• Взаимодействие с командами платформы данных, разрабатывающими конвейер Данных, разработчиками Единой Модели детального слоя, озера данных и Витрин Данных;
• Согласование архитектуры с подразделениями информационной безопасности, корпоративной архитектуры и поддержки;
• Выявление рисков и недостатков в существующей архитектуре данных;
• Ведение репозитория архитектурных артефактов и другой архитектурной документации;
• Проектирование способов интеграции Платформы данных с внешними системами;
• Участие в процессах планирования работ, определения ресурсов и оценки трудозатрат, рисков проекта. Участие в тестировании и в приемо-сдаточных испытаниях разработанного функционала.

Какие знания и навыки для нас важны:

• Опыт разработки архитектуры ETL от 2-х лет, для высоконагруженных хранилищ данных;
• Глубокие знания типовых трансформаций данных в ETL/ELT процессах, подходов к версионированию данных в хранилищах, реализации регламентной загрузки данных с большим инкрементом;
• Опыт разработки и оптимизации ETL процессов в детальный слой хранилища Банка или Корпоративное Хранилище Данных крупного предприятия финансовой сферы;
• Наличие опыта создания сложных инфраструктурных решений, проектирования решений, в частности опыт проектирования API, схем данных, архитектурных артефактов;
• Опыт разработки на одном из следующих ETL инструментов: SAS DI, Informatica PC, ODI как преимущество;
• Опыт работы с одной из СУБД GreenPlum, PostgreSQL;
• Опыт проектирования приложений на базе трехзвенной архитектуры.
• Опыт развертывания Linux серверов/ контейнеров, скриптовых языков (Bash)
• Интеграции информационных систем, знание подходов, шаблонов, технологий, инструментов проектирования;
• Построения архитектурных решений с учётом функциональных и нефункциональных требований;
• Желателен опыт разработки/проектирования веб приложений (React+java)
• Работа с PostgreSQL, Spark, Airflow, Kafka, ETL-инструментами, MS Visio, системами управления ИТ архитектурой.