Data Engineer

Дата размещения вакансии: 06.11.2024
Работодатель: iFuture
Уровень зарплаты:
з/п не указана
Город:
Санкт-Петербург
Липовая аллея
Требуемый опыт работы:
От 3 до 6 лет

Привет!

iFuture – это продуктовая IT-компания, которая разрабатывает собственный международный продукт с многомиллионной аудиторией в сфере спортивной аналитики и развлечений уже на протяжении 27 лет.

Мы находимся в поиске опытного инженера данных для работы с большими объемами данных и сложными системами обработки информации.

Основные требования и обязанности:

1. Глубокое знание и опыт работы с ClickHouse
Вы будете активно использовать эту СУБД для обработки и анализа больших объемов данных

2. Уверенное владение Python или Java для разработки и поддержки масштабируемых конвейеров данных

3. Опыт работы с ETL-процессами и инструментами, включая проектирование, разработку и оптимизацию потоков данных

4. Практический опыт использования Apache Airflow для планирования и управления рабочими процессами данных (если python)

5. Знание и опыт работы с Apache Beam для определения и выполнения как пакетной, так и потоковой обработки данных (если java)

6. Опыт работы с хранилищами данных (DWH) и технологиями OLAP

7. Способность проектировать и управлять структурами данных, включая трансформацию данных, модели данных, схемы и метаданные

8. Опыт работы со Apache Spark и Kafka

Будет плюсом:

  • Опыт работы с Hadoop и YTSaurus
  • Умение оптимизировать процессы обработки данных для повышения производительности
  • Навыки совместной работы с другими командами и участие в agile-процессах для своевременной и эффективной реализации проектов

Как инженер данных, вы будете отвечать за создание и поддержку архитектуры, используемой для хранения и обработки данных. Ваша роль будет ключевой в обеспечении эффективной работы с данными в нашей организации

Мы предлагаем:

  • Работу над продуктом, известным во всем мире;
  • Конкурентоспособную заработную плату;
  • Оформление по ТК РФ с первого рабочего дня в аккредитованную IT-компанию;
  • Корпоративный ДМС + Стоматология;
  • Компенсацию занятий любым спортом/фитнесом, корпоративные скидки в сеть фитнес клубов;
  • Оплату профильного обучения (курсы, конференции, вебинары, учебники и пр.);
  • Возможность быть замеченным, признанным и оцененным по достоинству усилий и вклада в развитие продукта;
  • Изучение английского языка с преподавателем в офисе или онлайн;
  • Гибкое начало рабочего дня (присутственные часы с 11 до 17, 5-дневная рабочая неделя);
  • Удобный формат работы – удалённый формат/гибрид/офисы компании в г. Санкт-Петерубрг, Москва, Лимассол.

  • Интересную и насыщенную корпоративную жизнь.