Data Engineer

Обязанности:

• Проектирование и разработка ETL/ELT;
• Создание, поддержка и оптимизация пайплайнов обработки данных с использованием Apache Airflow (написание DAG-ов, настройка сенсоров и операторов);
• Интеграция источников: Подключение и вычитка данных из различных систем: CRM, API, внешние базы данных (PostgreSQL, ClickHouse, HDFS);
• Разработка витрин данных: Построение и оптимизация витрин для BI-отчетности, написание сложных SQL-запросов и хранимых процедур;
• Внедрение систем мониторинга качества данных, логирования (Prometheus + Grafana) и проверки данных на всех этапах пайплайна;
• Ведение технической документации.

Требования:

• Python: Опыт написания скриптов, работы с Pandas, API, написание промышленного кода SQL;
• Написание сложных запросов, оконные функции, оптимизация запросов, хранимые процедуры;
• Airflow: Разработка DAG-ов, настройка коннекторов, управление зависимостями, понимание архитектуры (Scheduler, Worker, Web Server);
• Системное мышление: Способность видеть картину целиком, а не просто выполнять задачу "скопировать таблицу";
• Проактивность: Умение задавать вопрос "Зачем?" и предлагать оптимизации архитектуры;
• Коммуникабельность: Готовность общаться с аналитиками( · Ориентация на результат: Понимание важности SLA (времени доставки данных) и качества данных;
• Будет плюсом · Опыт работы с PostgreSQL · Опыт администрирования самого Airflow (настройка, деплой).

Условия:

• Официальное трудоустройство по ТК РФ;
• График работы 5/2 офис, 8-часовой рабочий день;
• Корпоративные программы обучения и развития;
• Дружная команда профессионалов и поддержка на всех этапах.