Аналитик качества рекомендаций в AI VK

Дата размещения вакансии: 10.02.2025
Работодатель: VK
Уровень зарплаты:
з/п не указана
Город:
Москва
Садовническая улица 82с2
Требуемый опыт работы:
От 3 до 6 лет

Мы создаём самую большую рекомендательную систему в России, выпускаем приложения под Android и iOS, разрабатываем редактор видео и помогаем интересным блогерам найти новую аудиторию, а пользователям — интересные публикации. За этим стоят сложные алгоритмы, сотни тестов и сервис, который обрабатывает 150 тысяч запросов в секунду.

Мы ищем аналитика, который будет создавать метрики и инструменты оценки качества рекомендаций.

О проекте
В контентные сервисы VK приходят разные пользователи, и всем им важно показать интересную ленту. По онлайн-сигналам от пользователей, а также по неявным сигналам мы оцениваем, что из показанного понравилось, а что нет, как показывать больше подходящего контента (и что это за контент такой) и при этом балансировать между поиском новых интересов и использованием уже существующих.

Задачи:

  • строить пайплайн кластеризации core-аудитории;
  • автоматизировать регулярный процесс сбора и обработки открытых ответов и комментариев с помощью LLM;
  • создавать метрики качества рекомендаций;
  • находить связи компонент рекомендаций с верхнеуровневыми метриками (DAU, Timespent, NPS), валидировать их и встраивать важные компоненты в общую иерархию метрик;
  • выявлять текущие проблемы рекомендаций и находить точки роста;
  • анализировать поведение пользователей, извлекать инсайты из данных, генерировать гипотезы и проверять их в A/B-тестах;
  • строить дашборды, по которым команды продукта и ML смогут принимать решения, основываясь на данных.

Требования:

  • высшее техническое или математическое образование;
  • знание SQL (вся обработка больших данных происходит на нём, уровня понимания оконных функций будет достаточно);
  • опыт работы в Airflow и BI-решениях — DataLens, Superset или другом;
  • умение писать на Python (pandas, NumPy, CatBoost);
  • хорошее знание математической статистики (мы анализируем много A/B-тестов, в которых нужно понимать, насколько случайны получившиеся результаты);
  • опыт построения продуктовых метрик (большинство решений принимается, основываясь на data-driven подходе — будет полезно понимать, как обложить сервис метриками и как их валидировать);
  • приветствуется опыт работы с ML-моделями (кластеризация, классификация и регрессия);
  • приветствуется опыт работы с NPS- и CSI-опросами и пониманием работы рекомендательных систем.

Что есть у нас:

  • нетривиальные задачи;
  • команда, с которой можно экологично спорить, шутить и работать;
  • вечеринки, о крутости которых неприлично рассказывать, но невозможно молчать;
  • офис у ст. м. «Павелецкая», в котором все мечтают остаться жить;
  • большой спортзал, арена для пинг-понга, фрукты, овощи и ещё многое полезное для здоровья.