з/п не указана
Москва
Более 6 лет
Уважаемый соискатель!
Мы ищем опытного Senior Data Engineer со знанием Scala для усиления нашей команды. Если у вас есть страсть к обработке больших данных, отличные навыки программирования и желание работать в динамичной среде, мы будем рады видеть вас в нашей команде.
Основные обязанности:
Проектирование и разработка масштабируемых и надежных ETL-процессов.
Работа с большими объемами данных, их очистка, преобразование и загрузка в аналитические системы.
Разработка и оптимизация высокопроизводительных решений на основе Apache Hadoop, Apache Spark и других технологий больших данных.
Интеграция данных из различных источников, включая базы данных, API и поточные данные.
Участие в архитектурных решениях и выбор технологий для новых проектов.
Написание качественного и поддерживаемого кода на Scala.
Работа в тесном сотрудничестве с аналитиками, дата-саентистами и другими членами команды для обеспечения точности и полноты данных.
Настройка и поддержка инструментов мониторинга и алертинга для ETL-процессов.
Требования:
Опыт работы в области обработки данных от 5 лет.
Отличные знания и опыт работы со Scala.
Опыт работы с экосистемой Hadoop (HDFS, YARN, Hive, HBase).
Глубокое понимание принципов работы Apache Spark.
Опыт работы с системами управления потоками данных (Kafka, Flink и др.).
Знание SQL и опыт работы с реляционными и NoSQL базами данных.
Умение работать с системами контроля версий (Git).
Опыт работы с инструментами контейнеризации и оркестрации (Docker, Kubernetes).
Отличные аналитические и проблемные навыки.
Будет плюсом:
Опыт работы с облачными платформами (AWS, GCP, Azure).
Знание Python или других языков программирования.
Опыт работы с инструментами CI/CD.
Понимание принципов машинного обучения и опыт работы с ML-платформами.
Мы предлагаем:
Конкурентоспособную заработную плату.
Гибкий график работы и возможность удаленной работы.
Профессиональное развитие и обучение.
Участие в интересных и инновационных проектах.
Дружный и профессиональный коллектив.
Социальный пакет (ДМС, оплачиваемый отпуск и больничные).
Если вы обладаете необходимыми навыками и хотите работать над сложными и интересными задачами в области больших данных, мы будем рады видеть ваше резюме. Присоединяйтесь к нашей команде и помогите нам создавать передовые аналитические решения!
