Data engineer

Дата размещения вакансии: 12.11.2024
Работодатель: BetBoom
Уровень зарплаты:
з/п не указана
Город:
Москва
Ленинградский проспект 35
Требуемый опыт работы:
От 1 года до 3 лет

Чем предстоит заниматься:

  • Участие в проектах внедрения и дальнейшей эксплуатации DWH решений в качестве инженера;
  • Разработка и контроль технических решений и разработка проектной документации, регламентов;
  • Оценка трудоемкости работ и необходимых ресурсов.

Основные задачи:

  • Создание пайплайнов для загрузки и обработки информации;
  • Создание витрин с данными;
  • Преобразование необработанных данных в формат, подходящий для последующей обработки и анализа;
  • Настройка сбора данных из множества источников в одно хранилище;
  • Проверка корректности данных, отсеивание неполной или ошибочной информации.

Мы ожидаем:

  • Отличное знание SQL: на уровне оконных функций, CTE, написания процедур - умение оптимизировать запросы;
  • Опыт работы с реляционными БД (в идеале Postgres);
  • Умение создавать витрины с данными;
  • Умение проводить первичный анализ данных (фильтрация, распределения, частоты, очистка данных и трансформация).

Будет плюсом:

  • Знание стека Hadoop (Apache Hadoop, Cloudera Manager, MapReduce, HDFS, Spark, Kafka, YARN);
  • Знание Java/Python;
  • Навыки скриптинга (bash/powershell);
  • Умение настраивать ETL/ELT-процессы;
  • Знание систем контроля версий и опыт коллективной разработки;
  • Знание облачных технологий;
  • Умение писать скрипты к BI-системам.

Мы предлагаем:

  • Оформление в аккредитованную ИТ-компанию;
  • Работу в комфортном офисе в шаговой доступности от ст. м. "Динамо" и "Петровский парк" (БКЛ);
  • Формат работы - офис/гибрид;
  • При переезде в Москву, компания компенсирует затраты на релокацию.