Data Engineer \ Дата-инженер

Дата размещения вакансии: 14.11.2024
Работодатель: Aston
Уровень зарплаты:
з/п не указана
Город:
Казань
Требуемый опыт работы:
От 3 до 6 лет

Аутсорсинговая аккредитованная IT-компания Aston приглашает стать частью команды. Мы работаем на рынке с 2007 года, а штат насчитывает 2500+ сотрудников.

Предоставляем услуги по разработке программного обеспечения и IT-аутсорсинга предприятиям, организациям и стартапам. Компания активно развивается в доменах: Finance, Healthcare, eCommerce, IoT, Media and Entertainment, Big Data, Machine learning, Deep learning.

Мы в поиске Data Engineer в свою команду профессионалов.

Заказчик: Ведущий российский продуктовый ритейлер. Компания управляет несколькими форматами розничной торговли: сеть бесконтактных магазинов под брендом «Пятерочка», сеть супермаркетов под брендом «Перекресток», сеть гипермаркетов под брендом «Карусель», интернет-супермаркет Perekrestok.ru и служба доставки 5Post. Также компания занимается доставкой посылок из интернет-магазинов в свои точки выдачи. Они уже работают с Aliexpress, Joom, OZON и активно подключают новые магазины.

Обязанности:

  • помогать коллегам Data Scientist в оптимизации их работающих пайплайнов, проявляя проактивность с предложениями по оптимизации;

  • взаимодействовать с коллегами DevOps по настройке окружений, деплою кода и работе с инфраструктурой компании;

  • настраивать и поддерживать стенды, с которых запускаются задания;

  • общаться с коллегами DQ, выяснять детали наполнения данных и участвовать в составлении БТ к данным;

  • писать ETL пайплайны;

  • решать неожиданные проблемы с данными и задержками их доставки;

  • настраивать мониторинг разнообразных процессов.

Требования:

  • опыт работы в роли Data Engineer от 3-х лет;

  • опыт проектирования схем данных в БД, понимание концепций OLAP и OLTP;

  • опыт оптимизаций sql-запросов и понимание оптимизаций на уровне Spark Catalyst;

  • опыт работы с MPP базами данных;

  • опыт работы с Airflow;

  • опыт работы с Postgres и Clickhouse;

  • опыт работы с Kubernetes (K8S);

  • опыт Devops: Docker, Gitlab-CI, настройка окружения на серверах и др.;

  • опыт проектирования высоконагруженных приложений и/или приложений работы с большими данными;

  • опыт работы с операционной системой Linux;

  • уверенные знания Python 3.7 + Spark 2.4 / Spark 3.0: структуры данных, алгоритмы, концепции языка;

  • уверенные знания SQL: агрегации, джойны, вложенные запросы, индексы, оптимизации запросов;

  • знание и практический опыт использования Pandas и NumPy для продвинутой аналитики;

  • глубокие теоретические знания стека технологий и практический опыт: Spark, Hadoop, Hive.

Что мы предлагаем?

Хорошая зарплата

  • размер зарплаты обсуждаем отдельно с каждым кандидатом;
  • доплачиваем за менторство, ведение обучающих курсов, ревью проектов и участие в других профактивностях компании.

Развитие в профессии

  • долгосрочные проекты от российских заказчиков;
  • возможность выбирать или менять проект и пробовать себя в новых направлениях;
  • прозрачная система Performance Review;
  • ментор на все время работы в компании.

Комфорт и свобода

  • свободный релокейт между офисами компании;
  • возможность выбирать формат работы: удаленный, из офиса или гибридный;
  • комфортные офисы в городах-центрах разработки;
  • поэтапная система адаптации новых сотрудников.

Обучение

  • корпоративный портал с материалами для изучения любого нового стека и повышения уровня по своей специальности и не только;
  • участие в технических митапах и конференциях в качестве гостя и спикера.

Социальный пакет

  • медицинская страховка (+стоматология);
  • частичная компенсация спортивных абонементов;
  • компенсация расходов на оплату коворкинга;
  • 3 sick-days в год;
  • оплачиваемый бенч;
  • оплачиваемый отпуск 28 дней в году;
  • оплачиваемые больничные.

Корпоративная жизнь

  • корпоративы и тимбилдинги;
  • детские праздники и мастер-классы с подарками и сладостями для семей сотрудников.

Адреса наших офисов

  • г. Москва, БЦ “Башня Империя”, 50 этаж, офис 13/Пресненская набережная 6, строение 2;
  • г. Санкт-Петербург, БЦ “Ренессанс Холл”, 8 этаж, 801/Владимирский проспект, 23;
  • г. Казань, улица Н. Ершова, 76/1, офис 213;
  • г. Ростов-на-Дону, улица Текучева, 246, 3 этаж.
  • г. Нижний Новгород, ул. Белинского, д. 63, 3 этаж, коворкинг "VMESTE"
  • г. Самара, Коворкинг "Профит Румс", Московское шоссе, д.4 корп 4, этаж 4 (IT парк Монте Роза).