Мы — команда по работе с данными и аналитикой ИИ-помощника Сбера. Отвечаем за то, чтобы качество генеративных моделей измерялось честно и воспроизводимо, модели дообучались под продуктовые задачи, а продуктовые и бизнес-решения принимались на данных: метрики, эксперименты, бенчмарки, human evaluation и инфраструктура, которая помогает командам быстрее находить ответы. Мы ищем лидера с сильным исследовательским и ML-бэкграундом, который построит систему оценки качества GenAI на уровне лучших практик индустрии и сам организует процесс дообучения моделей: SFT, DPO, RL. В скоуп роли также входит руководство функцией продуктовой аналитики. Нам важен играющий тренер: задаёт методологию, растит лидов и при этом сам погружается в самые сложные задачи. Наша амбиция — собрать лучшую в стране команду на стыке качества моделей и дата-аналитики, и эту команду предстоит достраивать вам.
Обязанности
- Построение целостной системы оценки качества ИИ-помощника: дерево метрик качества, целевые бенчмарки, side-by-side (SBS) сравнения с конкурирующими ассистентами, human evaluation и LLM-as-a-judge — с пониманием ограничений каждого метода и того, как они дополняют друг друга.
- Организация процесса дообучения моделей под продуктовые задачи: SFT, DPO и RL — от постановки задачи и подготовки датасетов (включая preference-данные из human feedback) до обучения, оценки и критериев допуска в прод; выстраивание воспроизводимого пайплайна, которым команда пользуется самостоятельно.
- Развитие эвал-платформы: замкнутый цикл «метрика → эвал → обучение/проверка → quality gate» как обязательный шаг допуска изменений модели и скиллов в продукт.
- Организация процессов человеческой оценки и разметки: экспертная и краудсорсинговая разметка, AI-тренеры, стандарты заданий, калибровка и контроль согласованности оценщиков.
- Руководство функцией через тимлидов трёх команд: ML/DS, продуктовая аналитика и AI-платформа (команды по ~5 человек); найм и развитие лидов, целеполагание, распределение приоритетов между продуктовыми доменами. Контроль функции продуктовой аналитики: единый слой продуктовых метрик, A/B на потоке, мониторинги ключевых метрик; квартальный и годовой roadmap аналитики, согласование стратегических развилок с владельцами продукта, платформы и данных.
- Представление решений аналитики на уровне C-level; развитие стандартов профессии и публичное представление команды — конференции, статьи
Требования
- Опыт руководства data science / аналитическими командами через тимлидов (от 10–15 человек), включая найм, развитие и калибровку лидов.
- Глубокая экспертиза в оценке качества LLM/GenAI: построение метрик качества, работа с бенчмарками и аренами (и понимание их ограничений), организация human evaluation, model-as-a-judge, специализированные evaluation-датасеты. Практический опыт дообучения LLM: SFT, DPO/preference-тюнинг, RL (RLHF/RLVR), адаптеры — на уровне, позволяющем самому организовать процесс end-to-end: данные, обучение, оценка, допуск в прод
- Понимание жизненного цикла моделей в продукте: связь обучающих данных с целевыми метриками качества, контроль деградаций и регрессий.
- Уверенное владение статистикой, A/B-тестами и продуктовыми метриками.
- AI-native подход: реальный опыт интеграции LLM и агентов в аналитические процессы команды.
- Готовность к высокому темпу: частые срочные запросы от продукта, оперативное погружение в верхнеуровневые задачи.
Условия
● Комфортный современный офис рядом с м. Кутузовская
● Ежегодный пересмотр зарплаты, годовая премия
● Корпоративный спортзал и зоны отдыха
● Система обучения для профессионального и карьерного развития
● Расширенный полис ДМС с первого дня работы и страхование для семьи
● Льготная программа ипотеки для сотрудников
● Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
● Вознаграждение за рекомендацию друзей в команду Сбера
