Москва
проспект Победителей 7А
проспект Победителей 7А
Состав задач:
- Подключаться к источникам бизнеса (ERP/CRM/биллинги/лог-шины/API), консолидировать разрозненные данные.
- Строить и поддерживать надёжные конвейеры (батч/стриминг) с оркестрацией, мониторингом и алертингом.
- Готовить «ML-готовые» датасеты и фичи: схемы, слои, форматы, версионирование.
- Обеспечивать хранение: проектировать DWH/даталейк/лейкхаус, индексацию, партиционирование, компрессию.
- Настраивать data quality/контракты данных (валидации, тесты, SLA)
- Оптимизировать стоимость и производительность: планирование ресурсов, профилирование, кэш/материализация.
- Интегрировать ML/LLM-пайплайны: оффлайн/онлайн фичи, фичастор, подготовка корпусов для RAG, векторные БД.
Основные требования и обязанности:
- 3+ лет в data-инженерии: проектирование и эксплуатация конвейеров данных (батч/стриминг).
- Уверенный SQL (аналитический, оконные функции, оптимизация) и Python для пайплайнов/утилит.
- Опыт с Airflow (DAG, зависимости, сенсоры, SLA, retries)
- Проектирование слоёв данных и форматов, S3-совместимые стораджи
- Практика data quality (тесты, профили, контракты)
- Понимание ML-пайплайнов на уровне подготовки признаков/датасетов для обучения и сервинга.
-
Базовая безопасность данных