Senior Data Engineer (SberDevices)

Дата размещения вакансии: 18.09.2024
Работодатель: СБЕР
Уровень зарплаты:
з/п не указана
Город:
Москва
Кутузовский проспект 32
Требуемый опыт работы:
От 1 года до 3 лет

SberDevices - новое направление компании, которое занимается созданием девайсов для массового пользователя и продуктов на основе речевых и голосовых технологий и многими другими интересными проектами.

Наша команда занимается развитием Data Platform (платформы данных).

Сейчас у нас есть три основных направления:

1. Управление данными Умных устройств (телеметрия, пользовательские действия, системные логи и тп), собираем >1 млрд событий в сутки и обеспечиваем аналитику в реальном времени:

- Один из лидеров рынка по размеру собственной сети Умных устройств.

2. Управление данными по взаимодействию пользователей с Виртуальным Ассистентом:

- Один из лидеров рынка по аудитории Виртуального Ассистента.

3. Управление данными для обучения LLM (Больших языковых моделей), собираем и обрабатываем >5ПБ в месяц различных типов данных (текст, изображения, видео, звук):

- Один из лидеров LLM в стране.

Чем предстоит заниматься:

  • Развивать платформу как self-service для аналитиков – разрабатывать новые сервисы и фичи для удобства пользователей.
  • Участвовать в проектировании и модернизации инфраструктуры.
  • Поддерживать существующий функционал.
  • Внедрять процедуры контроля качества данных.
  • Оптимизировать и автоматизировать существующие процессы – никакого массового ручного клепания витрин и написания одинаковых ETL.
  • Генерировать идеи, как сделать еще круче, чем уже есть :)

Профессиональные навыки :

  • Практический опыт работы с Python 3, базовый опыт с GoLang приветствуется.
  • Опыт оптимизации SQL запросов, понимание внутреннего устройства БД (у нас ClickHouse и GaussDB - аналог GreenPlum).
  • Базовый опыт администрирования БД.
  • Навыки работы с unix-подобными системами, знание базовых команд.
  • Базовые навыки DevOps (Docker, Kubernetes, Ansible, Terraform).

Будет плюсом:

  • Практический опыт работы с облачными платформами управления данными (у нас SberCloud / Huawei Cloud).
  • Практический опыт работы со стеком технологий Big Data (особо интересует Kafka и Spark).
  • Практический опыт участия в проектах по созданию DWH, Data lake, Data management platforms, опыт построения и развития высоконагруженных систем приветствуется.

Что предлагаем:

  • Гибкий стек инструментов и технологий – можно пробовать новое, если точно знаете, зачем.
  • Адекватный подход к управлению – мы не ставим нереальных сроков и не предлагаем поработать в выходной ради высшего блага.
  • Работа с крупнейшими массивами данных на рынке России.
  • Гибкий график для оптимального баланса работы и личной жизни, возможна удалёнка.
  • Дружный коллектив и здоровая атмосфера взаимопомощи.
  • Амбициозные задачи.
  • Профессиональное обучение, семинары, тренинги, конференции, корпоративная библиотека.
  • ДМС, страхование жизни.
  • Свободный дресс-код.
  • Льготные кредиты и корпоративные скидки