Инженер данных

Обязанности:

• Проектирование архитектуры DWH: выбор модели данных, обоснование выбора стека, настройка слоев;
• Разработка и сопровождение ETL/ELT‑потоков (Airflow, dbt);
• Управление метаданными: создание data catalog, документирование lineage данных;
• Обеспечение Data Quality: валидация данных на всех этапах, настройка алертов при аномалиях;
• VictoriaMetrics, Prometheus: Создание, управление, мониторинг метрик;
• ClickHouse: оптимизация запросов, Incremental/CDC‑загрузки;
• Подготовка, создание и поддержка dashboards в BI системах;
• Создание выгрузок и отчетов по запросу бизнеса;
• Документирование процессов и ведение технической документации.

Требования:

• Опыт работы с реляционными базами данных (PostgreSQL/MySQL);
• Опыт в проектировании архитектуры DWH;
• Опыт моделирования и оптимизации в ClickHouse;
• Знание очереди, потоковой обработки данных из источников (Kafka, RabbitMQ);
• Опыт интеграций с 1С, работа с 1С OData, XML, REST, SQL (конфигурирование, запросы);
• Опыт интеграций с REST источниками данных (сайты, сервисы), с SQL источниками данных;
• Уверенный пользователь Python (pandas, requests);
• Планирование DAG‑ов, написание операторов в Airflow;
• Опыт работы c S3 и Docker.

Условия:

• Расширенный социальный пакет: ДМС со стоматологией, бесплатное питание в корпоративной столовой;
• Корпоративный спорт (йога, футбол, забеги), психолог;
• Корпоративный транспорт от м.ВДНХ;
• Скидки для сотрудников на товары и услуги Москвариума и от компаний-партнеров (женская, детская одежда, книги и игрушки, а также Skillbox, BestBenefits и др.);
• График работы 5/2 с 9:00 до 18:00;
• Официальное оформление с соблюдением ТК РФ с первого рабочего дня (включая оплату отпусков и больничных);
• Место работы: м. ВДНХ, ВВЦ, "Москвариум".