Инженер данных (Hadoop)

ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее.

Ждем именно тебя!

Мы – новая команда в Блоке «Развитие клиентского опыта B2С, и мы ищем инженера данных, который присоединится к нашей команде и займётся разработкой и поддержкой витрин данных на базе Hadoop. Вам предстоит участвовать в разработке базовых и специальных витрин данных в Едином ПКАП B2C, готовить датасеты для обучения моделей в FeatureStore B2C, разрабатывать витрины данных на Hadoop в ПКАПе команды, реализовывать реплики в КАП Первичные данные.

Обязанности

• проектирование, разработка и сопровождение витрин данных на базе Hadoop;
• участие в разработке ETL-процессов для загрузки данных в витрины;
• поддержка и мониторинг работы витрин данных;
• взаимодействие с командами разработки и системными/дата-аналитиками по вопросам сбора, обработки и хранения данных;
• разбор инцидентов качества данных, развитие автоматизированных тестов (Data Quality);
• документирование разработанных решений.

Требования

• практический опыт в разработке витрин данных, выстраивании ETL-процессов;
• уверенное владение SQL (аналитические функции, подзапросы, хранимые процедуры/функции, оптимизация производительности), готовность к созданию инструментов для нужд инфраструктуры и разработки;
• опыт работы с Hadoop (HDFS, YARN, Hive) и Spark;
• знание Java/Scala и опыт разработки на нём;
• опыт разработки на Python;
• понимание инструментов и технологий Big Data;
• знание принципов построения распределённых систем хранения и обработки данных;
• опыт обработки и миграции больших объёмов данным между различными источниками;
• опыт работы с системами контроля версий (Git);
• навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом;
• опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки.

Будет плюсом:

• опыт работы с Kafka;
• опыт работы с CI/CD инструментами (Jenkins, GitLab CI);
• базовые знания Docker и иных технологий контейнеризации;
• опыт работы с системами Unix (bash).

Условия

• офисный формат работы (опционально)
• годовой бонус и ежегодный пересмотр
• социальный пакет (ДМС, страхование от несчастных случаев, льготное кредитование, подключение родственников к полису)
• корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
• льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+ с возможностью использования до трех близких, скидки от партнеров
• материальная помощь при наступлении значимых событий в жизни;
• дисконт-программы от компаний партнеров (фитнес, страхование, туризм)
• подарки и мероприятия для детей сотрудников. Оздоровительные программы для детей сотрудников.