JSA – акредитованная IT компания, Часть холдинга USM (активы Аллишера Усманова: Мегафо, Удоканская медь, Металлоинвест)*
Проект по созданию КХД в Металлоинвесте направлен на разработку новой платформы данных с использованием современных российских технологий. Он включает интеграцию множества источников данных и бизнес-систем, включая SAP. Реализация на продуктах Arenadata, таких как Catalog, по методологии DAMA DMBok, обеспечит гибкость и масштабируемость. Проект будет подстроен с учётом прошлого опыта, построение именно архитектурно верного КХД, а не просто большой БД. Проект предполагает применение подхода Streaming и ELT (не ETL) для обработки данных и создание витрины данных, что позволит эффективно обрабатывать и анализировать информацию. Это современное и перспективное решение с множеством интересных интеграционных задач
Обязанности:
- Проектирование и разработка архитектуры корпоративного хранилища данных (КХД) на базе Greenplum (Arenadata) и ClickHouse.
- Участие в разработке стратегии Data Governance.
- Оптимизация производительности КХД, выявление и устранение узких мест.
- Интеграция данных из различных источников, обеспечение согласованности и целостности данных в хранилище.
- Разработка архитектурных стандартов, руководств, и их согласование с участниками проекта по ключевым компонентам обработки и хранения данных.
- Формирование архитектурного бэклога работ.
- Совместная работа с командой аналитиков и дата-инженеров, осуществление технического контроля реализованного функционала, формулирование технических решений.
- Взаимодействие с бизнес-подразделениями для понимания их потребностей и разработки решений, соответствующих этим потребностям.
- Разработка и согласование технической документации.
Требования:
- Опыт работы архитектором КХД от 3-х лет.
- Глубокое знание SQL (DDL, DML, аналитические функции, индексы, хранимые процедуры, представления).
- Опыт работы с Greenplum и ClickHouse, включая настройку кластеров, мониторинг и управление.
- Опыт работы с Airflow для автоматизации ETL/ELT процессов.
- Знание и опыт работы с ETL/ELT инструментами, Kafka, Ni-Fi.
- Опыт проектирования и внедрения Бизнес-глоссария и Каталога данных.
- Широкие знания в смежных технологических областях (Инфраструктура, эксплуатация, DevOps.
- Знание git, опыт использования CI/CD инструментов.
- Знание методологий моделирования данных. Опыт проектирования моделей в парадигме Data Vault 2.0.
- Умение проектировать и внедрять высоконагруженные системы хранения и обработки данных.
- Отличные коммуникативные навыки, способность объяснять сложные технические концепции простым языком.
- Наличие собственных идей и опыта развития платформы данных.
Будет плюсом:
- Опыт работы с SAP BW.
- Опыт интеграции с SAP системами.
- Опыт работы с BI-платформами (Qlik Sense, Power BI).
- Опыт проектирования и построения стриминговых платформ.
Мы предлагаем:
- Конкурентоспособную заработную плату, соответствующую вашему опыту и квалификации.
- Годовой Бонус по результатам .
- ДМС, корпоративная мобильная связь, частичная компенсация спорта.
- Участие в интересных и сложных проектах.
- Дружный коллектив и комфортную рабочую атмосферу.
- Гибкий график работы и гибридный формат работы.
