Senior Data Engineer

Обязанности:

• Разработка архитектуры доставки, хранения и обработки данных (РСУБД, NoSQL).
• Проектирование моделей данных и построение аналитических витрин для операционной аналитики и интерактивных дашбордов.
• Оптимизация существующих процессов обработки данных, снижение задержек в доставке данных.
• Автоматизация ETL/ELT процессов, настройка мониторинга и алертинга для критически важных пайплайнов.
• Разработка отказоустойчивых и масштабируемых решений для работы с большими объемами данных.
• Взаимодействие с аналитиками и разработчиками для формирования требований к аналитической отчетности.

Технологический стек

• Хранение данных: HBase, YTsaurus, ClickHouse, PostgreSQL.
• ETL & обработка данных: Apache Airflow, Python/Java, YQL, Apache Spark.
• BI & визуализация: Apache Superset, Jasperserver.
• CI/CD и инфраструктура: Kubernetes, Docker, GitLab.

Требования:

• 5+ лет опыта в сфере Data Engineering / Big Data.

• Глубокие знания Python или Java, уверенное владение SQL (джойны, агрегации, оптимизация запросов).

• Опыт работы с распределёнными хранилищами и построением ETL/ELT пайплайнов на Apache Airflow.

• Практический опыт использования Apache Spark (Streaming) / Apache Flink / Apache Beam.

• Опыт проектирования аналитических витрин, отчетов и дашбордов в BI-системах.

• Знание различных моделей хранения данных (Data Vault, Anchor, hNhM).

• Понимание принципов , опыт работы с контейнеризацией (Kubernetes, Docker). CI/CD.

• Готовность решать сложные задачи, предлагать оптимальные архитектурные решения, работать с высоконагруженными системами.

Будет плюсом:

• Опыт работы с real-time обработкой данных.
• Понимание принципов распределенных вычислений и работы потоковых фреймворков.
• Знание современных подходов к data governance и data lineage.

Условия:

• Работа в IT компании, занимающаяся заказной веб и мобильной разработкой;
• Удаленный формат работы - возможность работать из любой точки мира;
• Оформление по ИП или ГПХ;
• Оплата возможна в удобной валюте;
• Профессиональный и дружный коллектив;
• Высокий уровень стабильного дохода, условия обсуждаются с каждым кандидатом индивидуально по результатам интервью.