Архитектор ETL

Описание

У нас в DWH очень много данных: 6000 объектов, 200 тб в Greenplum и 2 пт в Hadoop. С данными активно работают более 400+ специалистов. На стороне команды DWH созданы инструменты, которые позволяют получать, обрабатывать, загружать и визуализировать данные. Наша инфраструктура:

• Greenplum / Hadoop / Clickhouse в качестве ядра обработки данных
• Собственные решения на базе Apache Zeppelin, Apache Airflow и Apache Flink в качестве инструментов трансформации данных для аналитиков (selfservice etl)

Мы в поиске Архитектора, который займется выявлением операционной нагрузки в аналитическом хранилище, а также проработает архитектуру решения по вынесению операционной нагрузки из DWH

Требования:

• Опыт работы в сфере Data Architecture/DWH/ETL от 3-х лет
• Понимание архитектуры хранилищ и инструментов, которые с ним связаны
• Понимание бизнес-сценариев работы с данными
• Глубокое понимание жизненного цикла ETL пайплайнов и модели данных
• Опыт проектирования ETL-процессов в распределенных системах
• Хорошее понимание и опыт работы с MPP СУБД
• Опыт оптимизации процессов
• Знакомство с инструментами: Airflow, Greenplum, Clickhouse будет плюсом

Обязанности:

• Развитие сервиса обработки данных для операционной и регуляторной отчетности на основе компонент платформы данных.
• Проектирование методологии и подходов разработки потоков данных для операционной и регуляторной отчетности.
• Обеспечение гарантий масштабируемости и отказоустойчивости сервиса.
• Регулярный аудит процессов разработки / поставки данных с целью формирования идей оптимизации и улучшения.

Мы предлагаем

• Возможность работы в аккредитованной ИТ-компании
• Работу в офисе. График работы — гибридный
• Платформу обучения и развития Т-Апгрейд. Курсы, тренинги, вебинары и базы знаний. Поддержка менторов и наставников, помощь в поиске точек роста и карьерном развитии
• Заботу о здоровье. Оформим полис ДМС со стоматологией и страховку от несчастных случаев. Предложим льготное страхование вашим близким
• Компенсацию такси и 50% затрат на спорт от стоимости абонемента
• Компенсацию обедов. А если захотите перекусить, на каждом этаже есть кухня с чаем, кофе и фруктами
• Достойную зарплату — обсудим ее на собеседовании