з/п не указана
Москва
От 1 года до 3 лет
О компании и проекте
Яндекс развивает большую языковую модель Alice AI LLM. Наша цель — сделать Алису лучшим ассистентом в России: чтобы она ежедневно помогала пользователям в учёбе и работе.
Сейчас фокус — на повышении качества ответов в сфере образования для школьников (по математике, русскому и английскому языкам, истории, литературе, физике, биологии и др.).
Что предстоит делать
Вы будете работать в роли «играющего тренера» (50 % — руководство командой аналитиков‑разработчиков, 50 % — решение прикладных задач):
- Создавать метрики качества модели: формулировать критерии, экспериментировать с подходами (бенчмарки, LLM‑as‑a‑judge, краудсорсинг, AI‑тренеры), внедрять стабильные метрики.
- Анализировать проблемные срезы: находить слабые места модели, совместно с разработкой планировать решения, готовить данные для обучения, оценивать эффективность изменений.
- Собирать и контролировать данные: искать качественные источники инстрактов, выявлять проблемы в данных, формулировать и отслеживать критерии эталонных ответов.
- Взаимодействовать с командами разработки и продукта.
- Участвовать в обсуждении тактических и стратегических целей направления.
Мы ждём, что вы
- Руководили аналитиками или выступали ментором.
- Работали над метриками в ML‑проектах.
- Уверенно владеете SQL и Python.
- Умеете анализировать текстовые данные и выстраивать процессы их обработки.
- Знаете теорию вероятностей и математическую статистику.
- Самостоятельны и готовы решать нестандартные задачи.
- Интересуетесь развитием LLM и хотите в этом развиваться.
Будет плюсом
- Опыт работы с LLM.
- Опыт работы с Толокой или другими краудсорс‑платформами.
