Мы в Rubbles занимаемся разработкой и внедрением DS-продуктов в крупные бизнесы. Например, системами предсказания спроса на товары в ритейле и fmcg, рекомендательными системами, системами предсказания поломок оборудования, поисковыми системами для онлайн-магазинов, системами оптимизации производства в промышленности, цифровыми двойниками и многим другим. Алгоритмы Rubbles ежедневно улучшают работу крупнейших банков, ритейл-сетей, нефтегазовых компаний и других предприятий.
Мы ищем Data Engineer'ов для участия во внутренних проектах на стадии presale. Основные обязанности будут включать в себя переосмысление и оптимизацию текущих витрин данных, генерацию данных, разработку новых ETL-процессов, а также сбор и анализ требований от различных команд внутри компании.
Обязанности:
- Разработка и поддержка пайплайнов обработки данных и машинного обучения на Python и Spark с использованием популярных фреймворков (Airflow);
- Разработка коннекторов к системам-источникам данных и системам-потребителям;
- Организация потоков данных в рамках микросервисной архитектуры платформы;
- Разработка схемы данных компонентов платформы в едином информационном поле;
- Работа c различными системами хранения (Clickhouse, PostgreSQL, Redis);
- Разработка пайплайнов с Kafka;
- Написание генераторов тестовых данных;
Минимальные требования:
- Опыт промышленной разработки на Python от 2х лет;
- Сильные софт скиллы и умение коммуницировать между командами;
- Знакомство с основным big data стэком – Spark, Hadoop.
- Опыт работы с Airflow;
- Опыт работы с k8s;
- Уверенное знание SQL;
- Умение работать с командной строкой Linux/MacOS;
- Умение вести проекты в Git;
На что ещё смотрим:
- Опыт работы с MPP – системами и с колоночными хранилищами данных.
- Английский язык – уровень B1.
У нас
-
Работа в одной из самых сильных ML команд в России;
-
Участие в росте компании, работающей на перспективном AI рынке;
-
Гибкий график работы;
-
Гибкий формат работы: полная удаленка (в том числе вне РФ)/гибрид/офис в Мск.
-
Поддержка в профессиональном и карьерном росте, оплата профильного обучения, конференций и книг, корпоративные скидки на курсы английского;
-
Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами;
-
ДМС со стоматологией после испытательного срока (3 месяца) по всей России;
Особенно актуальное:
-
Мы аккредитованная ИТ-компания со всеми вытекающими льготами.
