Senior Data Engineer (Apache Superset)

xTrace.ae — международная цифровая платформа track & trace.
Создаём технологическое решение для маркировки, отслеживания и контроля движения товаров по цепочке поставок.

Мы делаем масштабный международный проект на стыке технологий и логистики — строим гибкую, устойчивую и масштабируемую платформу, востребованную в разных странах.

В связи с расширением круга проектов компании мы ищем опытного Data Engineer для выполнения задач сбора, спецификации и согласования требований к продукту.

Обязанности:

• Разработка архитектуры доставки, хранения и обработки данных (РСУБД, NoSQL).

• Проектирование моделей данных и построение аналитических витрин для операционной аналитики и интерактивных дашбордов.

• Оптимизация существующих процессов обработки данных, снижение задержек в доставке данных.

• Автоматизация ETL/ELT процессов, настройка мониторинга и алертинга для критически важных пайплайнов.

• Разработка отказоустойчивых и масштабируемых решений для работы с большими объемами данных.

• Взаимодействие с аналитиками и разработчиками для формирования требований к аналитической отчетности.

Стек:

• Хранение данных: YTsaurus, Cassandra, CockroachDB, ClickHouse, PostgreSQL.

  ETL & обработка данных: Apache Airflow, Apache Spark, Python, Java, SQL, YQL.

• BI & визуализация: Apache Superset.

• CI/CD и инфраструктура: Kubernetes, Docker, GitLab.

Требования:

• 5+ лет опыта в сфере Data Engineering / Big Data.

• Глубокие знания Python, уверенное владение SQL (джойны, агрегации, оптимизация запросов).

• Опыт работы с распределёнными хранилищами и построением ETL/ELT пайплайнов на Apache Airflow.

• Практический опыт использования Apache Spark (Streaming) / Apache Flink / Apache Beam .

• Опыт проектирования аналитических витрин, отчетов и дашбордов в BI-системах.
• Знание различных моделей хранения данных (Data Vault, Anchor, hNhM).
• Понимание принципов , опыт работы с контейнеризацией (Kubernetes, Docker). CI/CD
• Готовность решать сложные задачи, предлагать оптимальные архитектурные решения, работать с высоконагруженными системами.

Условия:

• Работа в крупной и стабильной IT компании.
• Удаленный формат работы.
• Профессиональный и дружный коллектив.
• Высокий уровень стабильного дохода, условия обсуждаются с каждым кандидатом индивидуально по результатам интервью.