ML-аналитик в Яндекс Образование

Яндекс Образование создаёт образовательные продукты для школьников, родителей и учителей, а также инструменты для всего образовательного сообщества. Мы разрабатываем технологичные решения, включая ИИ-инструменты, которые помогают детям осваивать IT-навыки, учиться эффективнее и получать современное образование, а взрослым — лучше понимать и сопровождать этот процесс.

Наша цель — использовать возможности искусственного интеллекта, чтобы помогать выстраивать персональные образовательные траектории, разбираться в сложных заданиях и системно работать с ошибками.

Мы ищем ML-аналитика, который поможет нам объективно измерять качество моделей, выстраивать процессы сбора данных и развивать технологии, которыми пользуются миллионы людей, — в среде, где модели и подходы обновляются каждый день.

Какие задачи вас ждут:

• Разработка инструментов оценки качества моделей
  Вам предстоит выстраивать систему оценки качества работы моделей на разных классах задач: адаптировать опенсорсные бенчмарки, разрабатывать собственные и организовывать разметку данных с помощью внешних исполнителей.

• Анализ качества наших моделей и решений конкурентов
  Вы будете проектировать и внедрять сложные метрики, которые действительно отражают уровень технологий и позволяют сравнивать модели в реальных сценариях использования.

• Построение процессов сбора данных для fine-tuning и RL
  Вместе с экспертами-разметчиками вы будете создавать качественные сигналы для обучения, а также ускорять и масштабировать разметку с помощью LLM.

• Работа с исследованиями
  Вам предстоит отслеживать и анализировать новые бенчмарки, датасеты и подходы к сбору данных, выбирать наиболее перспективные идеи и внедрять их в практику команды.

Мы ждём, что вы:

• Уверенно работаете с Python и SQL, знаете основные аналитические библиотеки
• Понимаете основы статистики и умеете применять их на практике
• Умеете проектировать процессы разметки для удалённых исполнителей
• Понимаете, как оценивать сложные агентные ML-пайплайны
• Самостоятельны, внимательны к деталям и доводите задачи до результата

Будет плюсом:

• Работали с Толокой или другими краудсорсинговыми платформами
• Выстраивали процессы разметки данных с привлечением внешних исполнителей
• Управляли командой ML-аналитиков