Москва
Ленинградский проспект 35с1
Ленинградский проспект 35с1
Обязанности:
- Анализ источников данных: REST API (основной источник), файлы, СУБД;
- Формирование требований к загрузке данных в слои ODS и DDS;
- Проектирование и создание витрин данных на слое CDM;
- Визуализация данных на базе созданных витрин данных (Superset);
- Проектирование и разработка проверок качества данных на всех этапах загрузки (от источников до витрин);
- Постановка задач для разработчиков DWH и ETL-процессов;
- Разработка и внедрение систем проверки качества данных (Data Quality) «с нуля»;
- Создание проверок целостности и консистентности данных;
- Разработка механизмов мониторинга и уведомлений (алерты, дашборды);
- Автоматизация проверок и интеграция их в ETL-процессы;
- Управление метаданными;
- Разработка и поддержка документации по данным и процессам;
- Поддержка, создание и упрощение процессов работы с данным;
- Поддержка и перевод текущей отчетности на новую платформу данных;
- Дополнительно: Оптимизация SQL-запросов и ETL-пайплайнов.
Требования:
- Опыт работы системным аналитиком или в области DWH от 2 лет.
- Отличное знание SQL (написание сложных запросов, оптимизация, работа с процедурами и функциями, оконные функции).
- Опыт работы и понимание методологии Data Vault 2.0.
- Понимание принципов построения DWH (слои ODS, DDS, CDM).
- Опыт работы с ETL-инструментами (желательно Apache NiFi).
- Опыт разработки и внедрения проверок качества данных (Data Quality).
- Умение анализировать источники данных (REST API, СУБД).
- Опыт работы с PostgreSQL.
- Опыт работы с инструментами визуализации данных (Superset).
- Навыки работы с метаданными и документацией.
- Понимание процессов параллельной загрузки данных и их контроля.
- Желание автоматизировать и упрощать процессы.
Условия:
- Талантливая команда, готовая поддержать ваши инициативы;
- Официальное трудоустройство по ТК РФ в аккредитованную ИТ-компанию;
- Достойная заработная плата обсуждается индивидуально с каждым кандидатом (в зависимости от опыта);
- Удаленный или гибридный формат работы;
- График работы 5/2 с пн-пт, гибкое начало дня;
- Социальный пакет (ДМС, оплата мобильной связи);
- Корпоративная программа лояльности (профессиональное обучение, фитнес-активности, обучение языкам, подписка Wink и многое др).