Data Engineer (hadoop, spark)

Дата размещения вакансии: 19.09.2024
Работодатель: СБЕР
Уровень зарплаты:
з/п не указана
Город:
Екатеринбург
Требуемый опыт работы:
От 1 года до 3 лет

Мы - команда разработки Аналитической Платформы (АПЛ) розничного взыскания и урегулирования. Создаем, внедряем, сопровождаем и развиваем дата-продукты для наших внутренних клиентов.

Под капотом у этих продуктов в качестве СУБД была и пока остается СУБД Oracle, но в рамках импортозамещения - принято решение по миграции с Oracle на Hadoop и Greenplum с последующим развитием нового аналитического слоя хранилища данных.

Обязанности

  • Проектирование, разработка и поддержка инфраструктуры для хранения и обработки больших данных;
  • Проектирование и разработка ETL-процессов, используя внутренние и внешние источники данных для NRT и Batch поставок данных;
  • Проектирование и настройка систем отчетности для разовых и периодических выгрузок данных для внутренних и внешних заказчиков

Требования

  • Опыт разработки на Java / Python / Scala не менее 3 лет;
  • Опыт в написании функций для первичной обработки, преобразования и агрегации данных на одном из или нескольких вышеуказанных языках;
  • Опыт разработки в экосистеме Hadoop (HDFS, YARN, Оркестраторы);
  • Хорошие знания фреймворка Spark; Базовый опыт оптимизации запросов;
  • Опыт разработки в SQL (Oracle, PostgreSQL, Greenplum) и NoSQL (Hive, Impala);
  • Опыт в создании алгоритмов загрузки данных в витрины с учётом историчности, уникальности, логики обновления таблиц;
  • Хорошие знание SQL (понимание от чего зависит оптимальность запроса; умение разбираться в сложных аналитических запросах);
  • Уверенные знания теории DWH;
  • Опыт работы с CI/CD решениями на базе Jenkins и Bitbucket/Git

Условия

  • комфортный современный офис
  • ежегодный пересмотр зарплаты, квартальную и годовую премию
  • корпоративный спортзал и зоны отдыха
  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
  • программа адаптации и помощь руководителя на старте
  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
  • бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
  • вознаграждение за рекомендацию друзей в команду Сбера