ИТ B2C — крупнейшая экосистема Сбербанка, объединяющая свыше 8000 специалистов из 18 городов России, создающих удобные и защищённые розничные банковские сервисы. Команда ИИ-сценариев и комплексных решений проектирует и внедряет инновационные AI-решения для оптимизации взаимодействия банка с клиентами, используя самые современные технологии обработки естественного языка и машинного обучения.
Первый этап отбора на эту вакансию — общение с AI- рекрутером. После отклика вам на почту придёт приглашение пройти первичное интервью с ГиаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГиаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!
Обязанности
- разрабатывать и поддерживать тесты для ИИ-агентов (чат-агенты, автономные ассистенты, multi-agent системы)
- писать специализированных «агентов-проверяющих» на Python — программных ассистентов, которые тестируют поведение, логику и безопасность других ИИ-агентов
- проектировать сценарии для проверки корректности, согласованности, устойчивости к манипуляциям и соблюдению инструкций
- анализировать логи взаимодействий, выявлять edge-кейсы и системные риски
- участвовать в формировании стратегии обеспечения качества для генеративных ИИ-систем.
Требования
- опыт автоматизированного тестирования на Python (pytest, requests, asyncio и др.)
- уверенное владение основами тестирования: жизненный цикл ПО, виды тестирования (функциональное, регрессионное, интеграционное и др.), методологии (Agile/Scrum), метрики качества
- навыки построения и актуализации тестовых моделей (например, на основе требований, user stories или архитектурных диаграмм) для выявления ключевых сценариев и рисков
- понимание принципов работы LLM и ИИ-агентов (промпты, инструменты, память, цепочки рассуждений)
- умение проектировать сложные тестовые сценарии для нетривиальных систем
- опыт валидации поведения систем без чёткого «правильного ответа» (open-ended output)
Будет большим плюсом:
- знание и практическое применение подхода LLM-as-a-Judge для оценки качества ответов агентов
- опыт использования LLM в качестве инструмента анализа или оценки
- участие в тестировании RAG-систем, multi-agent окружений или агентов с внешними инструментами.
Условия
- работа в современном и комфортном офисе рядом с метро Кутузовская
- расширенный ДМС и льготное страхование для семьи
- уникальная система обучения Сбера для профессионального и карьерного развития
- выгодная ипотека для сотрудников выгоднее
- бесплатная подписка СберПрайм+, скидки на продукты компании-партнёров
- вознаграждение за рекомендацию друзей в команду Сбера
- корпоративная пенсионная программа.
