Data Engineer

Дата размещения вакансии: 10.11.2024
Работодатель: TechInvest Consulting
Уровень зарплаты:
з/п не указана
Город:
Новосибирск
Требуемый опыт работы:
От 1 года до 3 лет

В TechInvest Consulting мы хотим изменить подход к принятию решений в FMCG бизнесе. Сейчас мы разрабатываем инновационный продукт на стыке AI технологий, дизайна и бизнес аналитики, для максимально эффективного управления ассортиментом компании на основе анализа больших данных и построения предиктивных моделей.

Мы даем свободу в выборе рабочего времени, места, так как сами это ценим.

Сейчас мы ищем Дата-инженера.

Внимание: это проектная команда!

Чем предстоит заниматься:

  • Построение архитектуры БД
  • Написание ETL потоков для построения витрин
  • Описание потоков в документации
  • Описание SQL запросов к витринам для бэкенда

а также

- Самостоятельно анализировать требования к потокам данных, разрабатывать и поддерживать системы сбора, хранения и обработки данных

- Улучшать процессы работы с данными и обеспечивать их качество

Стек:
- Spark
- Scala
- Airflow
- Hadoop

Наши пожелания

  • Знание передовых принципов построения хранилищ данных.
  • Опыт работы с Hadoop.
  • Отличное знание SQL.
  • Опыт работы с Python на уровне написания API, небольших скриптов и сервисов.
  • Знание Git.
  • Опыт работы с ETL оркестраторами (airflow)

Что мы предлагаем:

  • Аккредитованная компания
  • У нас дружелюбная атмосфера и команда профессионалов
  • Возможность работать из любой точки мира
  • Возможность создать действительно интересный проект
  • Гибкий график работы
  • Реализация классного и полезного проекта, которого еще нет на российском рынке