Data Engineer (Hadoop разработчик)

Дата размещения вакансии: 08.11.2024
Работодатель: Selecty
Уровень зарплаты:
з/п не указана
Город:
Москва
Требуемый опыт работы:
От 1 года до 3 лет

IT-компания Selecty ищет Data Engineer на проекты нашего партнера.

Мы аккредитованная IT компания. C 2013 года успешно решаем задачи любой сложности в рамках цифровой трансформации для крупного бизнеса.

Задачи:

  • проектирование и выстраивание ETL процессов загрузки данных с гибкой логикой обновления внутренней модели;
  • оптимизация производительности кода;
  • разработка и ведение схемы данных;
  • взаимодействие с аналитиками, командами развития платформ, DevOps инженерами Развитие wiki в Confluence.

Cтек технологий:

Hadoop, Spark, Scala, PostgreSQL, OpenShift и Java(Spring)

Наши ожидания от кандидата:

  • Опыт работы с инструментарием Hadoop (HDFS, Yarn, Spark, Hive)
  • Опыт работы с промышленными DWH на основе MPP СУБД (Teradata, Exadata, Greenplum), от 2-х лет
  • Знание теории построения DWH
  • ETL - практический опыт проектирования и разработки регламентных потоков данных при помощи Airflow
  • SQL - уверенные знания (DML,DDL), опыт разработки хранимых процедур
  • Опыт работы с библиотекой Pandas Опыт работы с Impala
  • Понимание принципов и инструментария CI/CD (Git/Bitbucket, Teamcity).

В приоритете Selecty - твой комфорт, поэтому у нас:

- Возможность участвовать в масштабных и разнообразных проектах;
- Удаленная работа или удобный офис;
- Обучение: мы посещаем профильные конференции, учимся на курсах и тренингах.
- ДМС со стоматологией, скидки на изучение английского языка и от других партнеров компании.
- Статус аккредитованной IT-компании.