Ленинградский проспект 36с40
Обязанности:
* Поддержка и развитие существующего Django-монолита (python 3.8) и интеграция с новым контуром (python 3.12-3.14) на базе Lakehouse.
* Проектирование и реализация ETL/ELT-процессов: загрузка, трансформация, валидация, backfill исторических данных.
* Разработка и сопровождение коннекторов/адаптеров к внешним источникам данных (ODBC, REST/SOAP, файлы, 1C и т.д.).
* Построение и развитие аналитических витрин и контуров доступа к данным (ClickHouse/Iceberg/Trino).
* Улучшение архитектуры, техдолга и надежности: идемпотентность, ретраи, контроль целостности, оптимизация производительности
Требования:
* Python 3.8+ (от 3х лет): глубокое понимание асинхронности (asyncio/gevent) и конкурентности (threads/processes), GIL и I/O-bound vs CPU-bound; уверенная работа с типизацией (typing/mypy), пакетированием и зависимостями; умение писать поддерживаемый код с упором на читаемость и тестируемость.
* Архитектурная база: понимание Clean Architecture / Hexagonal (Ports & Adapters); умение проектировать границы, контракты и зависимости между слоями.
* Инженерные принципы: следование SOLID, KISS, YAGNI, DRY, а также Separation of Concerns, High Cohesion / Low Coupling, Fail Fast, Idempotency by design, Design for testability.
* Django (в т.ч. legacy 2.x): ORM, middleware, management commands; опыт работы с большим монолитом будет сильным плюсом.
* PostgreSQL: сложные запросы, оптимизация, индексы/планы; версионность данных, временные срезы, SCD2/time-travel подходы.
* Lakehouse стек: практический опыт Apache Iceberg (snapshots, schema evolution, time-travel) и понимание принципов Lakehouse.
* ETL на Apache Spark: PySpark/Spark SQL, оптимизация join’ов, партиционирование, инкрементальные загрузки.
* Trino/Presto: ad-hoc и федеративные SQL-запросы по Iceberg/источникам.
* ClickHouse: ReplacingMergeTree, материализованные представления/проекции, оптимизация запросов; паттерны view-swap; понимание run_id/load_ts и идемпотентности.
* Оркестрация задач: Celery + RabbitMQ (очереди, beat, retry/backoff), паттерны job-store/watermarks; понимание heartbeat/checkpoint для долгих задач.
* Data Quality и контракты данных: not null/unique/range/FK, schema enforcement; понимание lineage (граф трансформаций).
* DevOps для разработки и эксплуатации: Docker/Compose, GitLab CI/CD, SSH-деплой; Nginx/Apache + Gunicorn/uWSGI.
* Security/IAM (enterprise): понимание SSO/LDAP/AD/Kerberos и/или Keycloak/OIDC; разграничение доступа к данным (RLS, multi-tenancy).
Будет плюсом
* Airflow или Dagster (оркестрация data pipelines).
* Опыт поставок в закрытые контуры (Alt Linux, офлайн-инсталляции) и сильная практика документации (ADR, drawio).
* Опыт работы с Apache NiFi: опыт проектирования и эксплуатации production-ETL/ingestion пайплайнов (flow design, processors, scheduling), управление backpressure/очередями, гарантии доставки, обработка ошибок и ретраи, мониторинг, версионирование flows (NiFi Registry).
* Опыт работы с k8s.
Ключевые навыки
Python, Django, PostgreSQL, ClickHouse, Apache Iceberg, Spark (PySpark), Trino/Presto, MinIO (S3), Nessie, Celery, RabbitMQ, Redis, Docker, GitLab CI/CD, Nginx/Apache, ETL/ELT
Условия:
- обговариваются с кандидатом
