Инженер данных

Обязанности:

• Разработка и администрирование DWH: Поддержка и развитие хранилищ на MS SQL Server.

• Сбор и интеграция данных (ETL/ELT): Настройка пайплайнов загрузки данных из разнородных источников:

  • Оркестрация процессов через Apache Airflow и потоковая обработка через Apache Kafka.

  • Настройка распределенных потоков данных через Apache NiFi.

  • Загрузка "сырых" данных по API REST и из файлов Excel .

• Создание витрин данных и семантического слоя: Трансформация сырых данных в согласованные витрины для отчетов, дашбордов и AI-агентов.

• MDM и Data Governance: Участие в создании и поддержке мастер-данных (справочники клиентов, продуктов и др.), формирование "конституции данных" (каталог, метрики, владельцы).

• Мониторинг и контроль качества: Разработка систем мониторинга поставки, поиск «мертвых» данных, настройка алертов при сбоях и ухудшении качества данных.

• Автоматизация и оптимизация: Ускорение пайплайнов, снижение накладных расходов на хранение и обработку, внедрение новых инструментов.

Требования:​​​​​​​

• Базы данных: Глубокое знание MS SQL Server (T-SQL, индексы, оптимизация запросов, настройка репликаций).

• Инструменты движения данных: Уверенная работа с Apache Airflow (написание DAG'ов, сенсоры, операторы) и Apache NiFi (процессинг, потоки, маршрутизация). Понимание основ работы Apache Kafka (топики, партиции, Consumer/Producer).

• Интеграция: Опыт работы с REST/SOAP API. Опыт загрузки неструктурированных и табличных данных из Excel.

• Моделирование данных: Понимание Data Vault, Star/Snowflake схем, построение витрин данных.

• DevOps & CI/CD: Уверенное владение Git, автоматизация деплоя скриптов DWH и пайплайнов.

• MDM/Каталог: Понимание концепции Master Data Management (MDM) и важности ведения каталога данных.

• Понимание OLAP-кубов и семантических слоев.

Будет большим плюсом:

• Опыт работы с системами Data Quality (DQ) и Data Observability.

• Опыт работы с Apache Spark