Data Engineer, Факторы ранжирования

Привет! Мы команда Факторы ранжирования.

Группа “Факторов ранжирования” отвечает за весь процесс разработки и внедрения факторов, использующихся в ML-моделях ранжирования в поиске и каталоге: от первичного анализа данных до организации хранения и реализации расчета факторов в поисковом runtime. На текущий момент в группу входят ML-инженеры и разработчики, мы ищем DE, который сможет взять на себя задачи, связанные непосредственно с обработкой данных.

Наш стек:

Python, Hadoop, (Py)spark, Clickhouse, Vertica, Airflow, Mlfow, Pytorch, Catboost, Java.

Вы будете:

• Разрабатывать пайплайны обработки данных для реализации новых и поддержки существующих факторов ранжирования в поиске и каталоге.
• Реализовать мониторинги для регулярной оценки качества исходных данных, рассчитанных агрегатов и факторов.
• Настраивать загрузку агрегатов и факторов в feature store и поисковый индекс.

Примеры задач:

• Организация расчетов данных для различных видов факторов ранжирования: под нужды отдельных товарных категорий (одежда, продукты с express-доставкой и др.), с учетом локации пользователя (город, регион, кластер), для достижения различных бизнес-целей компании (снижение сроков доставки заказанных из поиска товаров, достижение более конкурентной цены товаров в поисковой выдаче и др).
• Организация процесса мониторинга и настройка метрик для отдельных факторов и для итоговых скоров моделей ранжирования.
• Оптимизация хранения и процесса расчета факторов за счет разделения на расчет подневных агрегатов в hadoop и вычисления конечных факторов по агрегатам в поисковом runtime.

Нам важно:

• Уверенное знание hadoop-стека, опыт работы с большими данными.
• Опыт разработки ETL-пайплайнов.
• Сильный python.
• Знание базовой математики для понимания основ ML.​​​​​​​​​​​​​​

Будет плюсом:

• Опыт работы с высоконагруженными системами.
• Опыт разработки на Java.
• Опыт в классическом ML/NLP/рекомендательных системах.

Работа в Ozon Tech — это:

• Люди, которым не всё равно — ценим инициативу и самостоятельность, доверяем друг другу и даём свободу в принятии решений;
• Открытая культура — мы учимся на ошибках и фокусируемся на решении проблем, а не на поиске виноватых;
• Сильная команда, которой мы гордимся — обсуждаем идеи, обмениваемся экспертизой, просим совета и поддерживаем друг друга;
• Современный стэк и развитая инженерная культура — реализуем амбициозные проекты и создаём решения, которых ещё нет на рынке.