Data Engineer (Москва, офис, финтех)

КОМПАНИЯ «АЙ-ТЕКО» — ведущий российский системный интегратор (аутстаффинг IT-специалистов) и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России. Мы аккредитованы в Минцифры.

О проекте

Проект связан с развитием крупной корпоративной платформы данных в рамках экосистемы федерального банка. Платформа используется для построения аналитических витрин и обеспечения поставки данных в различные внутренние продукты, включая аналитические и ML-сценарии.

Команда работает с большими объёмами данных в распределённой инфраструктуре и занимается развитием хранилища данных, data-pipeline’ов и архитектурных решений для работы с данными.

Задачи

• Разработка и сопровождение ETL / ELT-пайплайнов обработки данных;

• Построение, развитие и оптимизация витрин данных;

• Интеграция данных из различных внутренних источников;

• Участие в первичной обработке, обогащении и хранении больших объёмов данных;

• Оптимизация SQL-запросов и моделей хранения данных;

• Участие в обеспечении качества, целостности и доступности данных;

• Участие в проектировании и развитии архитектуры платформы данных;

• Взаимодействие с аналитиками, data scientists и смежными командами.

Ожидания от кандидата

• Опыт работы в роли Data Engineer ≈ 4 года;

• Опыт работы с экосистемой Hadoop, включая:
  HDFS, MapReduce, Yarn, Hadoop Common, Apache Tez, Apache Hive, Spark SQL, Apache Kafka;

• Опыт работы с реляционными БД (PostgreSQL (предпочтительно) и/или Oracle DB и/или MySQL) и понимание концепций РСУБД
  (нормальные формы, SCD, схемы «звезда» / «снежинка»);

• Уверенные знания SQL и опыт оптимизации производительности запросов
  (оконные функции, pivot, анализ планов выполнения, понимание работы индексов, основы оптимизации распределённых запросов);

• Понимание концепций проектирования DWH и Data Platform
  (Kimball / Inmon, Data Vault / Anchor, Lambda / Kappa);

• Практический опыт разработки на Python;

• Опыт разработки и сопровождения ETL / ELT-процессов;

• Опыт оптимизации процессов сбора, обработки и хранения данных;

• Опыт интеграции инфраструктурных компонентов с внешними системами;

• Опыт оптимизации моделей хранения данных и витрин;

• Опыт командной разработки с использованием Confluence и Jira;

• Опыт работы как в каскадных (Waterfall), так и в гибких методологиях
  (Agile / Scrum / DevOps).

Мы предлагаем:

• Работу в стабильной, надежной компании;

• Полностью «белую» заработную плату и оформление по ТК РФ с первого рабочего дня;

• Расширенный социальный пакет:

  • ДМС (включая стоматологию),

  • Корпоративные скидки на фитнес,

  • Внутренние спортивные секции (футбол, волейбол);

• Возможности для профессионального развития: обучение, внутренние и внешние курсы;

• Активную корпоративную культуру: мероприятия, клубы по интересам и многое другое;

• Современную технику: мощный ноутбук выдается в первый рабочий день — ничего не нужно ждать;

• Формат работы: офис в Москве (Кутузовский проспект, 32).

Будем рады сотрудничеству!