Мы создаем Бизнес-помощника для предпринимателей и ищем тех, кто хочет делать это вместе с нами.
Наш помощник живет на поверхности СберБизнес и обладает разнообразными навыками: от предоставления понятной аналитики по бизнесу предпринимателей и консультаций по развитию его бизнеса, до планирования конкретных действий и составления пошагового плана. Уже сейчас Бизнес-помощник умеет выполнять часть шагов плана за предпринимателя, а в будущем он станет еще более самостоятельным.
Наши сценарии становятся все более гибкими и глубокими, а Помощник более автономным.
Первый этап отбора на эту вакансию – общение с AI-рекрутером. После отклика ждите сообщение от него в Сберчате, диалог займёт примерно 10 минут. Задача AI-рекрутера — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры.
AI-рекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным для всех!
Обязанности
- разрабатывать систему метрик для оценки LLM-агентов и промптов
- проектировать офлайн- и онлайн‑эксперименты для проверки гипотез
- создавать синтетические датасеты для оценки
- внедрять фреймворки оценки (Ragas, LangSmith, DSPy, GEPA)
- переводить бизнес-критерии в измеримые метрики
- давать чёткий, аргументированный фидбек аналитикам и разработчикам.
Требования
- опыт с LLM: опыт коммерческой разработки или оценки решений на базе open-source моделей или OpenAI, Anthropic от 1.5–2 лет
- Prompt Engineering: глубокое понимание техник промптинга (Few-shot, Chain-of-Thought, ReAct) и умение управлять поведением моделей
- LLM Ops & Evaluation: практический опыт работы с фреймворками оценки качества генеративных систем и отдельных промптов (Ragas, LangSmith, DSPy, GEPA)
- NLP & Math: понимание классических метрик (BLEU, ROUGE, BERTScore, F1-score) и основ математической статистики для оценки достоверности тестов
- опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов.
Условия
- комфортный современный офис
- график – офис
- ежегодный пересмотр зарплаты, годовая премия
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для
- профессионального и карьерного развития
- расширенный ДМС, льготное страхование для семьи и корпоративная
- пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- бесплатная подписка подписка Прайм с возможностью совместного использования на трёх близких.
