Data Engineer

Мы – команда разработки DATA решений для Программы Лояльности СберСпасибо. Отвечаем за промышленную обработку данных: Big Data, реальные SLA, живой драйвовый бизнес. Работаем с распределенными системами, строим надежные пайплайны и делаем данные пригодными для аналитики, ML и продуктовых решений. В роли Data Engineer Вы получите опыт работы с настоящими большими данными, современным технологическим стеком, а также сможете влиять на платформу и наблюдать результат своей работы.

Обязанности:

• Проектирование и разработка витрин данных
• Реализация различных видов интеграционных взаимодействий с внешними системами (онлайн, оффлайн и файловые интеграции)
• Разработка и внедрение фреймворков и автоматизированных инструментов обработки данных
• Мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин
• Анализ и устранение проблем производительности
• Предоставление экспертной поддержки внутренним потребителям по вопросам, связанным с использованием данных
• Описание фичей, подготовка требований для смежных команд, разработка спецификаций и технической документации

Требования:

• Не менее 2 лет работы в качестве Data Engineer или ETL Developer
• Отличное знание SQL и современных реляционных/MPP СУБД (на выбор PostgreSQL /Teradata/GreenPlum/etc)
• Опыт работы с экосистемой Hadoop/Spark
• Знание языков программирования на выбор Scala/Java/Python
• Знакомство с архитектурой ПО и математическими алгоритмами
• Опыт работы с большими объемами данных
• Опыт промышленной разработки/внедрения и тиражирования решений по работе с данными (хранилища, витрины)

​​​​