з/п не указана
Москва
Более 6 лет
Находимся в поиске Senior Data Engineer со знанием английского языка
Стек: PostgreSQL, ClickHouse, Airflow, dbt, Python, SQL.
Задачи:
- Проектирование и развитие архитектуры DWH.
- Разработка ELT-пайплайнов и оркестрация в Airflow.
- Трансформация данных и Data Quality через dbt.
- Тюнинг производительности, оптимизация тяжелых запросов в ClickHouse и PostgreSQL.
- Код-ревью, менторство, участие в архитектурных ревью.
Требования:
- Опыт в Data Engineering от 3 лет.
- Expert SQL: сложные запросы, оптимизация, чтение планов (EXPLAIN).
- Глубокое понимание ClickHouse: движки, шардирование, распределенные таблицы, специфика JOIN и агрегаций.
- Отличное знание PostgreSQL: транзакции, блокировки, индексы, партицирование.
- Уверенный Airflow: кастомные DAG-и, XCom, Pools, Sensors.
- Опыт промышленного dbt: модели, макросы, тесты, CI/CD.
- Python: написание скриптов, кастомных коннекторов.
- Понимание методологий моделирования DWH (Kimball, Data Vault, OBT).
Будет плюсом:
- Kafka / брокеры сообщений.
- S3, Parquet, Iceberg / Delta Lake.
- Docker, Kubernetes, CI/CD (GitLab CI / GitHub Actions).
- Инструменты Data Quality (Great Expectations и аналоги).
