Ведущий Data Engineer

Дата размещения вакансии: 05.11.2024
Работодатель: СберТройка
Уровень зарплаты:
з/п не указана
Город:
Москва
Требуемый опыт работы:
От 1 года до 3 лет

Мы работаем над развитием передовых способов платежей и предлагаем пассажирам городского транспорта в регионах максимально широкий выбор вариантов оплаты проезда.

К единой билетной системе подключены как муниципальные, так и коммерческие перевозчики, а сервисы системы надежно защищают данные карт пользователей. Мы стали единственным подобным проектом в сфере транспорта.

К концу 2022 года мы внедрили инновационную билетную систему в 25 российских регионах!

Перед тобой будут стоять задачи:

  • Формирование единой стратегии по управлению данными
  • Создание и защита архитектуры выгрузки данных
  • Регламентирование процесса предоставления отчетности в регионы
  • Разработка архитектуры решений по загрузке данных в DWH
  • Интеграция систем обмена данным с различными источниками
  • Оптимизация вычислений и работа с узкими местами платформы
  • Реализация и анализ требований к витринам данных
  • Разработка и оптимизация ETL пайплайнов
  • Оркестрация ETL процессов в Airflow
  • Оценка пригодности, качества исходных данных

Мы ожидаем:

  • Наличие опыта разработки на Python от 2 лет
  • Уверенное знание Pandas, Numpy, SQLAlchemy
  • Уверенное знание SQL
  • Агрегации, джойны, оконные функции, вложенные запросы, индексы, оптимизации запросов и т.д.
  • Git + linux обязательно
  • Знание инструментов ETL и CDC
  • Понимание алгоритмов и опыт оптимизации кода
  • Уверенное знание Airflow, Postgres, Docker
  • Большим плюсом будет опыт работы с GreenPlum, Hadoop, Kafka, Clickhouse, Metabase и знание java/scale

Твои преимущества с нами:

  • Наша компания включена в реестр аккредитованных организаций, осуществляющих деятельность в области информационных технологий;
  • С нами у вас будет уверенность в завтрашнем дне, благодаря сильным и надежным партнерам - Сбербанку и Правительству Москвы и МО;
  • У нас официальное оформление с первого дня выхода на работу в соответствии с ТК;
  • У нас нет бюрократии - гибкое начало и завершение рабочего дня, предлагаем как офис так и гибридный формат работы на выбор на территории РФ;
  • Так как мы, динамичный и быстроразвивающийся проект который вошел с успехом в многие регионы нашей необъятной Родины, у тебя будет возможность сделать вместе с нами лучший продукт, и достигнуть карьерных высот по профессии.