Senior data engineer

«BI Consult» является аккредитованной IT-компанией, уже 15 лет специализируется на интеграции систем BI и DWH. Сейчас, в связи с активным развитием, мы ищем к себе в команду Senior data engineer.

Обязанности:

• Разработка развитие и сопровождение хранилищ данных;
• Проектирование и разработка пайплайнов (ETL процессов);
• Написание функций и хранимых процедур для преобразования и агрегации данных;
• Создание витрин;
• Рефакторинг и оптимизация;
• Разработка сопроводительной документации;
• Передача знаний коллегам по отделу;
• Совместная работа с Team Lead в вопросах принятия проектных решений.

Требования:

• Понимание концепции построения хранилищ данных (DWH);
• Опыт разработки пайплайнов в Airflow, NiFi;
• Уверенные знания Python, SQL, Linux;
• Опыт написания Cron-ов;
• Опыт работы с высоконагруженными СУБД (MS SQL, Greenplum, PostgreSQL);
• Понимание принципов хранения данных в SQL, секционирования, сегментирования, использование индексов.

Будет преимуществом:

• Опыт управления качеством данных и управления данными (Data Governance);
• Опыт работы с колоночными БД (Vertica, Clickhouse, GreenPlum /Arenadata).

Условия:

• Официальное оформление по ТК с первого дня;
• Интересные, сложные задачи;
• Профессиональный и горизонтальный коллектив;
• Минимум бюрократии;
• Возможность влиять на процессы;
• Комфортный офис в 7 минутах ходьбы от ст.м. "Василеостровская" или "Спортивная" с оборудованной кухней и комнатами отдыха (настольный теннис, массажное кресло, тренажеры, кухня);
• ДМС, корпоративный спорт (йога в офисе, кроссфит, АРБ);
• Множество корпоративных мероприятий и внерабочих активностей.

Вся команда работает из офиса, начало рабочего дня с 8:00 до 11:00.