улица Льва Толстого 16
Мы работаем с самыми масштабными и технологичными продуктами экосистемы Яндекса: Алисой AI, Яндекс Путешествиями, Бизнесом, Яндекс ID, Браузером и другими сервисами, которыми каждый день пользуются миллионы людей.
Для продуктов Яндекса мы создаём лучшую и самую технологичную службу поддержки, которая быстро помогает пользователям, понимает контекст обращения, отвечает точно и сохраняет высокий уровень качества даже при большом масштабе. Наша команда помогает поддержке сервисов Яндекса становиться умнее, быстрее и удобнее для пользователей.
Главный фокус команды сейчас — в том, чтобы увеличивать автоматизацию без потери качества. Для этого мы внедряем GenAI-решения в работу ботов, развиваем RAG-подходы и агентные сценарии, тестируем современные технологии, следим за трендами индустрии и применяем на практике решения, которые напрямую влияют на пользовательский опыт в крупных продуктах Яндекса.
Мы ищем дата-аналитика, который поможет создавать и развивать умный AI в службе поддержки: анализировать реальные пользовательские сценарии, находить ошибки модели, строить систему оценки качества, собирать данные для обучения и принятия новых решений.
Обязанности:
Построение системы оценки качества AI-ассистента
Вместе с командой вы станете развивать систему оценки качества: офлайн- и онлайн-метрики, LLM-as-a-Judge, A/B-эксперименты, мониторинг деградаций, аналитические дашборды и т. п.
Анализ качества работы LLM и поиск точек роста
Вам предстоит глубоко разбираться в качестве работы модели: анализировать пользовательские сценарии и проблемные кейсы, сегментировать ошибки и DSAT, искать закономерности через data mining. Затем — формировать гипотезы, как повысить качество, и оценивать влияние изменений на пользовательский опыт. Вы поможете команде понять, где модель ошибается, почему это происходит и какие улучшения дадут максимальный эффект.
Сбор данных для обучения и приёмки моделей
Вы будете работать с данными на всём цикле улучшения модели: находить реальные пользовательские кейсы в логах, собирать датасеты для обучения и тестирования, анализировать качество разметки.
Требования:
- Работали от двух лет в роли Data Analyst / Product Analyst / Analyst в data-driven-продукте
- Уверенно владеете SQL и Python для анализа данных
- Умеете работать с большими объёмами логов и событийных данных
- Понимаете основы статистики и A/B-тестирования
- Умеете формулировать продуктовые гипотезы и оценивать их эффект
- Обладаете системным мышлением
- Работали с LLM, RAG или агентами
- Умеете строить дашборды: Tableau, DataLens, Superset и др.
- Понимаете, как устроен цикл обучения и улучшения ML/LLM-моделей
Условия:
- сильная команда, с которой можно расти;
- сложные задачи для сервисов с миллионами пользователей;
- возможность влиять на процесс и результат;
- зарплата на уровне рынка и выше;
- премии каждые полгода для всех, кто успешно прошёл ревью;
- гибкий график работы;
- ипотечные программы;
- компенсация затрат на питание;
- расширенная программа ДМС: оплата 80% стоимости ДМС для супругов и детей;
- спортзал, тренажёрный зал, йога в офисе;
- парковка.
