Senior Researcher

Обязанности:

• Разрабатывать агенты совместно с клиентом (co-design) для ускорения бизнес-процессов и сформировать продукт на основе успешных прототипов
• Проводить usability-тесты с LLM агентами для оценки удобства и эффективности взаимодействия с продуктом
• Внедрять и развивать процессы оценки качества для агентных систем: упаковка бенчмарков, контроль покрытия и качества тестовых сценариев, работа с тестовыми сэтами для оценки
• Формировать метрики и критерии для контроля качества, анализа стабильности и результативности агентов.
• Проводить выходное тестирование, собрать и обработать пользовательский фидбек, валидация результатов тестирования на реальных пользователях.
• Совместно с разработкой экспериментировать с автоматизацией оценки (auto-eval, semi-auto eval), сравнивать влияние параметров и разрабатывать критерии успешности

Требования:

• Понимание специфики LLM и их возможностей, ограничений и особенностей взаимодействия с пользователями
• Опыт проведения моделируемых и немодерируемых исследований (интервью, наблюдение, эксперименты, онлайн-исследования)
• Знание различных видов исследований (качественные, количественные, A/B тесты, UX исследования, полевые и лабораторные тесты) и умение выбирать оптимальный подход для сбора данных о восприятии и использовании LLM-агентов
• Умение сформулировать гипотезы, которые можно проверить
• Использование зависимых и независимых переменных в экспериментах
• Способность выявлять реальные задачи и боли пользователей при взаимодействии с LLM агентами.
• Навыки анализа данных, автоматизация обработки и интерпретации результатов (использование Excel, Python, Metabase, специализированных библиотек и пр.)
• Владение инструментами для создания usability-тестов, опросов и анкетирования (например, Typeform, SurveyMonkey, UserTesting и др.)
• Умение работать в кросс-функциональной команде с разработчиками, инженерами данных и продукт-менеджерами, чтобы интегрировать результаты UX-исследований в продукт

Лидерские качества:

• Ведение документации, презентация результатов исследований для топ-менеджмента, интеграция решений в большие экосистемы
• Умение формировать культуру исследования и экспериментирования — стимулирование инноваций, развитие best-practices.
• Ориентированность на результат — понимание влияния исследований на продукт и бизнес (умение строить исследовательскую воронку и транслировать результаты на продуктовую команду).

Условия:

• Достойная заработная плата + годовой бонус
• Сильная команда
• ДМС, с первого рабочего дня
• Работа в аккредитованной IT компании
• Льготная ипотека от Сбера
• Гибридный формат работы
• Локация: Москва, м. Кутузовская/Цв. Бульвар