Data engineer в рекомендательные системы

Дата размещения вакансии: 06.11.2024
Работодатель: СБЕР
Уровень зарплаты:
з/п не указана
Город:
Нижний Новгород
Требуемый опыт работы:
От 1 года до 3 лет

О проекте

Мы разрабатываем рекомендательную платформу, которая предоставляет пользователям персонализированный и релевантный контент на всем клиентском пути.

Наша рекомендательная платформа строит персональные рекомендации во всех сферах бизнеса, таких как музыка, фильмы, онлайн торговля, медицина, логистика и многих других.

Интеллектуальное ядро такой системы - это алгоритмы машинного обучения, которые анализируют по-настоящему большие данные, и в реальном времени рассчитывают предпочтения миллионов конечных пользователей.

Ты получишь опыт внедрения самых передовых алгоритмов классического и глубокого обучения в части рекомендаций в реальной индустриальной системе, начиненной большими данными и работающей с высокими нагрузками при их обработке.

Что предстоит делать:

  • разрабатывать продакшн-пайплайны обработки данных
  • продуктизировать прототипы команды Data Science
  • проводить performance оптимизациb кода по обработке больших массивов данных или онлайн сервисов рекомендаций с высокой нагрузкой.

Для нас важно:

  • мотивации учиться и развиваться в области рекомендательных систем
  • экспертное знание Python
  • уверенное знание Spark (и желательно Pandas)
  • опыт написания промышленных пайплайнов обработки данных, содержащих множество шагов, зависимостей и сложную логику
  • опыт использования Airflow (или другого industry-standard оркестраторов пайплайнов, т.к. Luigi, Dagster и т.д.)
  • хорошее понимание баз данных SQL / NoSQL.

Будет плюсом:

  • опыт оптимизации пайплайнов препроцессинга данных под highload
  • знание Scala/Java
  • опыт работы с рекомендательными системами
  • опыт работы с облачными платформами
  • опыт работы с Kafka, Flink, Hadoop
  • хороший уровень понимания Computer Science алгоритмов.

Мы предлагаем:

  • крупнейшее DS&AI community — более 600 DS-специалистов банка
  • дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира
  • возможность выбрать удобный формат работы: гибрид или офис
  • комфортный офис: г. Нижний Новгород, ул.Октябрьская 35
  • ежегодный пересмотр зарплаты, годовая премия
  • корпоративный спортзал и зоны отдыха
  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
  • бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров.