Цели нашей команды:
- оптимизировать и улучшать аналитическую и ML-инфраструктуру, общаясь с её внутренними пользователями;
- выстраивать конвейеры автоматизации ML-процессов и обработки данных;
- настраивать работу сервисов и регулярных процессов в рамках экосистемы Яндекса;
- создавать новые и улучшать старые инструменты для ML-аналитики.
Какие задачи вас ждут:
1. Построить модель здоровья ML-сервисов
Модель здоровья — система мониторингов, следящая за тем, чтобы сервис работал как ожидается. В ожидания входят и стандартные технические показатели для бэкенд-сервисов (свободное место на диске, доля «пятисоток» в ответах сервиса и другие), и специфичные для ML показатели (свежесть поставки данных, корректность расчётов внутренних витрин данных, полнота данных в ответах сервиса).
2. Запустить Feature Store
ML-модели прогнозирования и рекомендаций в Еде базируются на статистических данных и их агрегатах. Каждое направление разрабатывает для ML-моделей сигналы и факторы на данных, соответствующих её доменной области. Feature Store позволит эффективно обмениваться факторами между командами без дублирования расчётов и предоставит платформу мониторинга качества сигналов. В рамках задачи предстоит дизайн архитектурного решения, реализация и интеграция в существующие пайплайны.
3. Развить инфраструктуру для реактивной поставки сигналов
Рекомендательные системы полагаются на историю пользовательских действий внутри приложения. Возможность доставлять события с задержкой до нескольких секунд позволит учитывать предпочтения пользователя в рамках сессии и повысит качество рекомендаций. Проект подразумевает разработку стриминга событий на базе Flink, хранение и раздачу профилей пользователей из key-value хранилищ Яндекса.
Мы ждём, что вы:
- На базовом уровне понимаете ML и концепции MLOps
- Разрабатывали бэкенд-сервисы на Python, C++, Java или Go
- Знаете или готовы освоить C++
- Обрабатывали большие объёмы данных (Hadoop, Spark, Hive)
Будет плюсом, если вы:
- Работали с ML-сервисами в продакшене
- Писали стриминговые приложения (Spark Structured Streaming, Flink или Kafka Streams)
- Работали в инфраструктурной команде