Lead Data Engineer

Наша задача – обеспечить перевод процессов на современный стек технологий, разработать решения по обработке и доставке данных, создать с 0 процессы загрузки потоков данных для задач аналитики и развить MLOps практику в команде для вывода DS моделей в пром.

Что нужно делать:

• Разрабатывать процессы сборки, обработки и поставки данных в Hadoop на Spark
• Развивать архитектуру проекта и адаптировать ее под новые требования
• Собирать и анализировать требования бизнеса по получению новых данных, оценивать наличие и качество данных
• Разрабатывать витрины данных для задач моделирования. Создавать выборки для обучения и тестирования моделей
• Консультировать бизнес-заказчика по возникающим вопросам
• Проводить подготовку и участвовать в проведении демонстрации полученных результатов моделирования бизнес-заказчикам
• Проводить системное, функциональное и интеграционное тестирование
• Разрабатывать и внедрять эффективные методики контроля качества данных
• Участвовать в code review и создавать инструменты для повышения эффективности
• Управлять командой инженеров данных (3-7 чел.), заниматься постановкой целей, планированием ресурсов и контролировать исполнение проектов

Требования:

• Опыт разработки на Spark (желательно Spark/Scala)
• Знание инструментов экосистемы Hadoop: Hive, Spark
• Хорошие знания SQL, опыт оптимизации запросов
• Глубокое понимание принципов проектирования баз данных и моделей данных
• Общий стаж работы не менее 5 лет в роли инженера данных или аналитика данных, включая опыт управления командой от 2 лет
• Высшее техническое образование
• Проактивность в работе с внешними и внутренними контрагентами
• Опыт в банковской сфере (транзакционный банкинг, платежные системы, AML/KYC) – большой плюс.

Мы предлагаем:

• Deep diving в предметную область, много разработки по задачам имеющим прямой эффект на бизнес
• Возможность привносить новые идеи и нестандартные решения
• Сообщество D-people– поддержка, развитие и возможность учиться у профессионалов
• Достойную оплату труда
• ДМС, сниженные ставки по кредитованию, программы лояльности для сотрудников
• Современный офис рядом с метро Кутузовская, бесплатный фитнес в офисе

Ключевые слова: #SQL, #BigData, #Hadoop, #DataEngineer, #Spark