Data Engineer

Мы предлагаем: Участие в проектах по созданию и развитию корпоративных систем бизнес-аналитики (BI) с нуля. Вам предстоит построить надежное и масштабируемое хранилище данных, которое станет единым источником правды для всех управленческих решений в компании.

Чем вы будете заниматься:

• Проектирование и разработка DWH: Создание и поддержка архитектуры хранилища данных, моделей данных, витрин и представлений для эффективной работы BI-систем.

• Разработка ETL/ELT процессов: Построение, оптимизация и сопровождение потоков данных для загрузки информации из разнородных источников: Bitrix24, amoCRM, 1C, а также других систем через их API.

• Интеграция данных: Написание скриптов и конфигурирование ETL-инструментов для подключения к REST API, обработки JSON/XML и обеспечения бесперебойного поступления данных в DWH.

• Подготовка данных для BI: Разработка и оптимизация витрин данных, готовых к использованию в инструментах визуализации (дашборды, отчеты).

• Работа с BI-системами: Тесное взаимодействие с аналитиками для понимания требований к данным, а также участие в создании и поддержке дашбордов.

• Автоматизация и мониторинг: Создание системы мониторинга качества данных и производительности ETL-процессов.

Мы ждем от вас:

• Глубокие знания SQL (оконные функции, CTE, оптимизация запросов).

• Практический опыт проектирования реляционных баз данных и хранилищ данных (знание подходов Kimball, Data Vault будет плюсом).

• Опыт работы с одним из ETL-инструментов: Apache Airflow, Apache NIFI, Talend, Pentaho или аналоги.

• Обязательный опыт интеграции данных через API (REST, GraphQL) из внешних систем.

• Опыт работы с BI-системами (Power BI, Tableau, Qlik, отечественными) на уровне подготовки для них данных.

• Умение работать с большими объемами данных и оптимизировать производительность.

Будет значительным преимуществом:

• Опыт работы с базами данных ClickHouse.

• Опыт коммерческой разработки DWH и ETL/ELT процессов от 3 лет.

• Опыт работы с 1С (понимание структуры метаданных, выгрузки данных).

• Знание основ визуализации данных и пользовательского опыта (UX) для дашбордов.

• Опыт построения OLAP-кубов.

• Навыки работы с системами мониторинга (Zabbix, Prometheus).

• Умение декомпозировать задачи, вести техническую документацию и эффективно коммуницировать с командами аналитиков и бизнес-заказчиками.