Команда данных по инвестиционным продуктам. Мы развиваем DWH по инвестиционным продуктам для аналитических сервисов мобильного приложения Сбербанк Онлайн секции "Всего средств" и участвуем в развитии единого DWH банка. Моделируем и развиваем базовые витрины по инвест продуктам и спец. витрины расчета доходности портфеля клиента.
Мы ищем разработчика хранилищ данных/ETL инженера, способного принять активное участие в развитии базового аналитического слоя хранилища данных, а также в построении витрин и контролей качества данных по портфелю клиента в инвестиционных продуктах (Доверительное управление, Брокеридж, ПИФ, ивест. Страхование). Данная роль предусматривает: создание витрин и вывод их в пром в соответствии с банковским релизным процессом, развитие модели хранения данных, реализация реконсиляции с эталонными данными, работу с качеством данных – как методология (что такое «качество»), так и техническая реализация процессов проверки качества данных.
Обязанности
- участие в разработке витрин данных с использованием инструментов Hadoop
- разработка интеграционных решений между хранилищем данных и мобильными сервисами
- разработка решений потоковой обработки данных в режиме near real time
- оптимизация существующих разработок
- подготовка и сборка дистрибутивов, сопровождение по стендам разработки и тестирования
- quality assurance решений промышленного контура: разрабатываемых и уже внедренных.
Требования
- опыт работы с инструментами Hadoop (Hive, Spark, Oozie, HDFS, YARN), понимание внутренней архитектуры
- опыт работы с ведущими СУБД (Teradata, Oracle, MS SQL)
- знание SQL на уровне оптимизации сложных запросов
- опыт разработки и оптимизации расчетов на больших объемах данных в Hadoop, знание Scala
- знания принципов построения распределенных систем хранения и обработки данных
- знание классических алгоритмов и структур данных
- понимание архитектуры хранилищ данных
- уверенная работа с git, bitbucket, jenkins
- умение тестировать и документировать собственный код, а также работать с существующим кодом
Будет плюсом, если ты имеешь:
- уверенное знание и опыт программирования на Scala/Java
- опыт работы с NoSQL базами данных (HBase, Cassandra)
- опыт работы с Kafka и разработки NRT решений
- опыт работы со Spark Streaming, Kafka, будет плюсом Flink
- опыт создания высоконагруженных распределенных систем, знакомство с существующими практиками в области
- участие в проектах с открытым исходным кодом.
Условия
- комфортный офис г. Санкт-Петербург, метро Новочеркасская (в 2025 г переезд на Василеостровскую, Уральская ул, 1)
- режим работы: 3 месяца офис, после испытательного срока - гибрид
- ежегодный пересмотр зарплаты, годовая премия
- уникальная система обучения Сбера для профессионального и карьерного развития
- расширенный ДМС и льготное страхование для семьи
- ипотека для сотрудников выгоднее до 4 %
- бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
- вознаграждение за рекомендацию друзей в команду Сбера
- корпоративная пенсионная программа.
