Senior Data engineer

Дата размещения вакансии: 25.12.2024
Работодатель: Мамаева Ирина Анатольевна
Уровень зарплаты:
от 400000 RUR
Город:
Москва
Требуемый опыт работы:
От 3 до 6 лет

Ищем в одну из крупнейших в рф компаний по разработке и внедрению дата - решений на внутренний продукт.
Наши продукты - AI/ML-решения для крупных банков, ритейла и промышленности: системы предсказания спроса, сервисы персонализации и рекомендательные системы, поисковые системы для крупных ритейлеров и банков.

Задачи:

  • Разработка и поддержка пайплайнов обработки данных и машинного обучения на Python и Spark;

  • Работа c системами хранения такими как Clickhouse и PostgreSQL;Поддержка существующих и написание новых Airflow Pipelines;

  • Переработка существующих пайплайнов “from scratch”;

  • Решение ad-hoc задач от аналитиков и датасаентистов;

  • Рефакторинг легаси кода;

  • Ревью кода других дата-инженеров;

  • Оптимизация сложных SQL-запросов.

  • Участие в реализации CI/CD;

  • Решение инфраструктурных проблем в зоне отвественности DE.

Наши ожидания:

  • Опыт промышленной разработки на Python от 4х лет;

  • Опыт работы с различными cloud-сервисами: Yandex, Google, AWS и прочие;

  • Сильные софт скиллы и умение коммуницировать между командами;

  • Опыт работы с Apache Spark;

  • Опыт работы с Airflow;

  • Опыт работы с k8s;

  • Экспертное знание SQL;

  • Уверенная работа с командной строкой Linux/MacOS;

  • Умение вести проекты в Git;

  • Умение писать pytest и понимание TDD методологии разработки;

  • Опыт с CI/CD.

У нас:

  • Работа в одной из самых сильных ML-команд в России;

  • Гибкий формат работы: полная удаленка/гибрид/офис в Мск.

  • Поддержка в профессиональном и карьерном росте, оплата профильного обучения, конференций и книг.

  • Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами;

  • ДМС со стоматологией после испытательного срока (3 месяца) по всей России;

  • ИТ-аккредитацию со всеми вытекающими льготами.