Data Engineer middle/senior

Дата размещения вакансии: 25.09.2025
Работодатель: Интеграция Дистрибуция Проекты
Уровень зарплаты:
з/п не указана
Город:
Москва
проспект Победителей 7А
Требуемый опыт работы:
От 3 до 6 лет

Состав задач:

  • Подключаться к источникам бизнеса (ERP/CRM/биллинги/лог-шины/API), консолидировать разрозненные данные.
  • Строить и поддерживать надёжные конвейеры (батч/стриминг) с оркестрацией, мониторингом и алертингом.
  • Готовить «ML-готовые» датасеты и фичи: схемы, слои, форматы, версионирование.
  • Обеспечивать хранение: проектировать DWH/даталейк/лейкхаус, индексацию, партиционирование, компрессию.
  • Настраивать data quality/контракты данных (валидации, тесты, SLA)
  • Оптимизировать стоимость и производительность: планирование ресурсов, профилирование, кэш/материализация.
  • Интегрировать ML/LLM-пайплайны: оффлайн/онлайн фичи, фичастор, подготовка корпусов для RAG, векторные БД.

Основные требования и обязанности:

  • 3+ лет в data-инженерии: проектирование и эксплуатация конвейеров данных (батч/стриминг).
  • Уверенный SQL (аналитический, оконные функции, оптимизация) и Python для пайплайнов/утилит.
  • Опыт с Airflow (DAG, зависимости, сенсоры, SLA, retries)
  • Проектирование слоёв данных и форматов, S3-совместимые стораджи
  • Практика data quality (тесты, профили, контракты)
  • Понимание ML-пайплайнов на уровне подготовки признаков/датасетов для обучения и сервинга.
  • Базовая безопасность данных