Data Engineer — Hadoop / Spark / Python / SQL

АЙ-ТЕКО — ведущий российский системный интегратор и поставщик IT-решений для корпоративных заказчиков. Работаем на рынке с 1997 года, реализуем крупные технологические проекты для ведущих компаний России.

В связи с расширением проектов приглашаем в команду Data Engineer.

Технологический стек

SQL · Hadoop · HDFS · Hive · Spark / Spark SQL · Python · Kafka · ETL / ELT

Чем предстоит заниматься

• Разрабатывать и поддерживать процессы ETL/ELT;

• Работать с большими объёмами данных в распределённой среде Hadoop;

• Разрабатывать и оптимизировать SQL-запросы;

• Работать с Hive / Spark SQL;

• Разрабатывать решения на Python;

• Работать с реляционными базами данных;

• Участвовать в проектировании и развитии DWH;

• Оптимизировать производительность запросов и процессов обработки данных;

• Взаимодействовать с разработчиками, аналитиками и другими участниками проекта.

Что важно для нас

• От 3 лет опыта в роли Data Engineer;

• Высшее техническое образование;

• Хорошие коммуникативные навыки, самостоятельность, ответственность и внимание к деталям;

• Практический опыт работы с экосистемой Hadoop: HDFS, MapReduce, YARN, Hadoop Common, Apache Tez, Apache Hive и/или Spark SQL;

• Опыт работы с Apache Kafka;

• Опыт работы с реляционными БД: PostgreSQL / Oracle / MySQL;

• Понимание принципов работы РСУБД: нормальные формы, SCD, схемы «звезда» / «снежинка»;

• Глубокое знание SQL и опыт оптимизации запросов:

  • оконные функции;

  • PIVOT;

  • анализ плана выполнения;

  • понимание работы индексов;

  • hints;

  • full scan;

  • особенности распределённых запросов и дистрибуции;

• Понимание подходов к проектированию DWH: Кимбалл, Инмон, Data Vault / Anchor, Lambda / Kappa;

• Опыт разработки на Python;

• Практический опыт построения ETL / ELT-процессов.

Будет преимуществом

• Опыт работы с Confluence, Jira, Redmine и аналогичными системами;

• Знание банковской предметной области;

• Опыт работы с высоконагруженными системами и большими объёмами данных.

Что предлагаем

• Работу в аккредитованной IT-компании;

• Официальное оформление по ТК РФ с первого рабочего дня;

• Белую заработную плату;

• Участие в крупных технологических проектах;

• Работу в команде, использующей гибкий подход к разработке;

• Возможность профессионального развития и роста;

• ДМС с первого месяца, включая корпоративные программы со скидками на фитнес;

• Современный комфортный офис в центре Москвы;

• Вся необходимая для работы техника предоставляется компанией.

Если Вам интересны Data Engineering, Big Data и работа с распределёнными системами — будем рады познакомиться!