Разработчик ETL-пайплайнов (команда DataTEAM)

Команда DataTEAM – занимается формированием витрин и репликацией данных в Корпоративной Аналитической Платформе (КАП), для целей поставки данных и формирования отчетности.

Первый этап отбора на эту вакансию – общение с AI-рекрутером. После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры.

ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!

Обязанности

• проектирование, настройка и поддержка ELT-пайплайнов: СУБД(PostgreSQL) - Kafka - HDFS - Kafka
• оценка и валидация готовности источников данных к репликации, обеспечение их соответствия требованиям интеграции.
• оптимизация производительности и сопровождение действующих ELT-процессов, повышение их надёжности и эффективности.
• валидация требований к загрузке данных, взаимодействие с заказчиками и источником

Требования

• опыт работы с ETL-инструментами (Apache NiFi, Talend, Informatica, SSIS) или языками программирования (Python, SQL, Java) для создания и поддержки ETL-пайплайнов.
• опыт работы с реляционными базами данных (PostgreSQL, Oracle)
• понимание принципов работы распределенных систем (Hadoop, Spark) и умение применять их для обработки больших данных, знакомство с продуктами Apache для обработки больших данных (Kafka, HDFS, Hive)
• умение работать с системами мониторинга (Grafana, Zabbix) для мониторинга ETL-процессов и отслеживания их состояния и оперативного выявления ошибок

Условия

• комфортный современный офис рядом с м. Кутузовская
• ежегодный пересмотр зарплаты и годовая премия
• уникальная система обучения Сбера для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.