В настоящее время находимся в поиска Data Engineer (Разработчик Hadoop/Spark) в крупнейшую ритейл-компанию.
Направляю Вам описание позиции.
Основные задачи:
Активное участие в реализации значимых проектов Коммерческой службы (области ассортимент, промо эффективность, ценообразование, мерчендайзинг) + других ключевых бизнес функций компании (логистика, операционная служба, HR и др) и Центральная служба.
Стек технологий:
· Hadoop (HDFS, Hive, YARN, Spark, Kafka), интеграции с БД Oracle, SAP Hana, Clickhouse, Postgres, MySQL, оркестрация Airflow,ETL Spark, Python/Scala, SAP DS, облачные технологии YandexCloud.
Задачи:
• проектирование и разработка витрин данных;
• мониторинг, поддержка, оптимизация ETL-процессов;
• интеграция данных из различных источников (преимущественно batch-загрузки из SQL баз данных);
• поддержка команды и пользователей по вопросам эффективной работы с данными.
Навыки:
• уверенные знания SQL;
• знание Python;
• понимание принципов организации хранилищ данных, ETL/ELT, форматов хранения данных;
• уверенный опыт работы с Hadoop, Spark, Airflow.
Условия:
Полностью официальное трудоустройство;
Высокий конкурентный оклад;
Карьерное развитие внутри команды-профессионалов;
ДМС;
Трудоустройство в IT-аккредитованной компанию;
Современное корпоративное оборудование;
Удаленный режим работы.
