Мы разрабатываем и улучшаем инфраструктуру для построения рекомендательных сервисов в Яндексе. Нашим фреймворком пользуются десятки сервисов, в том числе Маркет, Еда, Лавка, Картинки, и более двухсот разработчиков в Яндексе. Это позволяет делать решения для высоконагруженных сервисов с десятками и сотнями миллионов пользователей. Помимо этого, мы и сами занимаемся рекомендациями в Яндекс Картинках, что позволяет быстро пробовать все внедрения сразу в продакшен-сервисе с большой аудиторией.
Мы ищем разработчика, которому интересны распределённые системы процессинга данных, интересен мир ML и который хочет создавать устойчивые и эффективные решения.
Наша платформа уже используется сотнями разработчиков и десятками сервисов, обеспечивая удобный инструментарий для построения рекомендательных систем. Мы строим надежную инфраструктуру, которая позволяет командам строить и улучшать рекомендательные модели, приносить пользу пользователям.
С приходом эпохи нейросетей в сферу рексистем стало особенно важно уметь быстро обрабатывать сотни терабайт данных и обучаться на сотнях GPU, поэтому эффективность и устойчивость инфраструктуры становится ещё более важным фактором.
Какие задачи Вас ждут
- Разработка и улучшение Feature Store для нейросетевых моделей
Вы будете участвовать в создании и оптимизации хранилища признаков для рекомендательных систем, обеспечивая высокую производительность, масштабируемость и удобство использования. Мы хотим, чтобы наши команды могли легко сохранять, обновлять и использовать данные для обучения и применения моделей.
- Работа над устойчивостью и масштабируемостью системы
Наша инфраструктура должна быть готова к обработке огромных объёмов данных и высоким нагрузкам. Мы ожидаем, что вы будете разрабатывать и внедрять механизмы шардирования.
- Оптимизация производительности
Вы займётесь анализом и улучшением производительности Feature Store и сопутствующих систем, чтобы наши команды могли оперативно обрабатывать данные для рекомендаций.
- Консультирование внутренних команд по использованию инфраструктуры
Помимо разработки, мы ценим умение взаимодействовать с пользователями. Вы будете помогать нашим командам адаптировать инфраструктуру под конкретные задачи и решать возникающие вопросы.
Мы ждем, что Вы
- Отлично знаете С++ и пишете качественный поддерживаемый код
- Любите эффективные решения, которые выжимают все соки из современного железа
- Работали с хранилищами данных, такими как ClickHouse, YTsaurus, Redis, и понимаете принципы работы с высоконагруженными системами
- Умеете эффективно работать в команде и готовы делиться опытом с коллегами
- Интересуетесь современным ML и DL
Будет плюсом, если Вы
- Имеете опыт работы с инфраструктурой рекомендательных систем и хранилищами признаков (Feature Store)
- Работали с системами, обрабатывающими realtime-данные (Kafka, Flink, Spark)
- Понимаете особенности работы с большими данными и нейросетевыми моделями
- Программируете на Python
- Умеете проектировать и оптимизировать отказоустойчивые распределённые системы
