Data Engineer (Премиальные решения)

ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее.

Ждем именно тебя!

Мы — команда премиальных каналов обслуживания, специализирующийся на обслуживании VIP-клиентов и высокосостоятельных лиц. Наша команда профессионалов создает уникальные решения для наших уважаемых клиентов, обеспечивая высочайший уровень сервиса и безопасности. Мы ценим тех, кто стремится создавать инновационные технологии обработки больших объемов данных и делает мир финансов еще удобнее и прозрачнее.

Чем предстоит заниматься?

• Разрабатывать надежные и масштабируемые конвейеры обработки данных, используя стек технологий Hadoop, Apache Spark и другие инструменты Big Data.
• Обеспечивать высокую производительность хранилищ данных, оптимизируя процессы ETL и построение аналитических отчетов.
• Проектировать архитектуру хранения и обработки данных в СУБД Greenplum и экосистеме Hadoop.
• Участвовать в развитии инфраструктуры обработки данных и поддерживать её стабильность и безопасность.
• Совершенствовать существующие механизмы работы с большими объемами данных и разрабатывать новые алгоритмы анализа и обработки.

Обязанности

• Разработка, оптимизация и сопровождение масштабных ETL/ELT pipeline-процессов на Hadoop и Greenplum для обработки больших данных;
• Интеграция и объединение данных из множества внутренних и внешних источников, включая потоки данных (Kafka), в единое хранилище (Hadoop);
• Проектирование и развитие корпоративного хранилища данных на базе Greenplum и Hadoop: создание витрин данных для аналитики и отчётности, оптимизация существующих таблиц и запросов;
• Автоматизация и оркестрация процессов обработки данных;
• Обеспечение надежности, отказоустойчивости и качества данных в рабочих контурах: мониторинг производительности, выявление узких мест и их устранение;
• Взаимодействие с бизнес- и ИТ-командами для уточнения требований к данным и совместной реализации проектов.

Требования

• Опыт работы в роли Data Engineer (или аналогичной) от 2 лет;
• Уверенное владение SQL: написание сложных запросов, оптимизация производительности, понимание принципов проектирования баз данных и организации хранилищ данных;
• Практическое применение технологий Big Data: Hadoop (HDFS, YARN), Apache Spark (написание и запуск jobs), а также с системами хранения/обработки данных вроде Hive, Impala или Greenplum;
• Опыт использования систем оркестрации и планировщиков задач (Apache Airflow, Oozie или аналогичные) для построения ETL/ELT процессов;
• Знание инструментов контейнеризации и облачной оркестрации (Docker, Kubernetes) и опыт работы с потоковыми данными (Kafka или аналогичные платформы);
• Понимание принципов распределенных вычислений, высоконагруженных систем и обработки больших объемов данных;
• Английский язык на уровне, достаточном для чтения технической литературы и документации.

Будет плюсом:

• Опыт работы с данными в банковской или финансовой сфере, понимание специфики банковских больших данных;
• Знакомство с дополнительными инструментами big data и stream-аналитики;
• Знание Java, Scala для разработки данных;
• Сертификаты в области Data Engineering или Big Data и участие в профессиональных сообществах, конференциях, open-source проектах.

Условия

• Возможность гибридного графика; гибкое расписание работы – по договоренности;
• Корпоративное обучение и профессиональный рост: доступ к программам СберУниверситета, внутренним тренингам, курсам и конференциям;
• Доступ к одному из самых крупных хранилищ данных в России и новейшим технологиям для работы с Big Data (Hadoop-кластер, MPP-системы и др.);
• Участие в проектах огромного масштаба: вы будете работать над решениями, которые влияют на миллионы клиентов, и внедрять инновации в банковской отрасли;
• Культура командной работы и инноваций: опытная, сплочённая команда, обмен знаниями, участие в Agile-процессах, приветствуются инициативы и новые идеи;
• Официальное оформление по ТК РФ, стабильный оклад и ежегодная премия; прозрачные перспективы карьерного роста;
• Полный соцпакет от крупной технологичной компании: ДМС для сотрудника и семьи, льготные условия на продукты Сбера (ипотека, страховки), корпоративные скидки и бонусы.