Ищем Senior Data аnalyst в команду разработки прикладных сервисов СберБизнес.
В рамках нашего проекта мы реализуем задачи по увеличению вовлечённости клиентов ДБО с использованием технологий искусственного интеллекта и автоматизируем ключевые процессы бизнеса с помощью передовых инструментов GenAI.
Вас ждёт захватывающая работа в дружной команде профессионалов, ориентированных на применение лучших практик гибкой разработки (Agile). Проект успешно внедрён в промышленную эксплуатацию и ежедневно поддерживает критически важные процессы цифрового банкинга.
Наша цель — не просто автоматизация, а создание мультиагентной системы с точной маршрутизацией запросов клиентов. Система семантически различает сотни смежных бизнес-сценариев, извлекает критическую информацию и подключает профильные GenAI-инструменты для выполнения операций.
Но самое интересное ещё впереди! Мы постоянно расширяем функциональность сервиса, улучшая пользовательские сценарии и повышая эффективность внутренних процессов. Присоединяйтесь к команде, где ваш вклад станет частью истории успеха одного из крупнейших финансовых институтов страны.
Обязанности
- разрабатывать и внедрять кастомные метрики оценки ответов агентов: точность, полнота, непротиворечивость (включая LLM-as-a-judge)
- роводить структурный анализ ошибок (error analysis): выявлять паттерны галлюцинаций, сбоев логики, деградации качества
- планировать и проводить A/B-эксперименты: сравнивать версии промптов, архитектур агентов и модели; интерпретировать результаты
- генерировать синтетические датасеты (диалоги, запросы, эталонные ответы) для тестирования и улучшения агентов
- искать слабые места в работе агентов, вырабатывать и обосновывать решения по их устранению
- формализовывать требования к качеству и передавать метрики в команду глобального мониторинга платформы
- готовить аналитические отчёты и презентовать команде выводы: не просто цифры, а конкретные рекомендации
- работать с ad-hoc запросами: оперативно доставать данные, проверять гипотезы, разбирать инциденты.
Требования
- хорошее знание математической статистики, теории вероятностей и дизайна экспериментов (A/B-тесты, статзначимость)
- опыт работы аналитиком данных от 1 года
- продвинутое знание SQL
- уверенный Python для анализа и визуализации данных (pandas, numpy, scipy, matplotlib)
- опыт проведения исследований: проверка гипотез, оценка результатов, формулировка actionable-выводов
- понимание устройства мультиагентных систем или сложных LLM-пайплайнов (оркестрация, цепочки вызовов, RAG).
Как преимущество:
- понимание принципов работы рекомендательных или ранжирующих систем и методов их оценки
- знакомство с Big Data стеком (Hadoop, Spark)
- опыт работы с git, bash/linux, инструментами разработки (Jira, Confluence).
- опыт в банковской сфере или fintech-проектах
- опыт работы с векторными базами данных
- опыт работы с LLM-фреймворками для оркестрации агентов (LangChain, AutoGen, CrewAI, LlamaIndex)
- системный опыт промпт-инжиниринга: управление структурой ответа (JSON), цепочками рассуждений, длиной контекста.
Условия
Что мы предлагаем:
• удобный офис на Кутузовском пр-кт д. 32к1
• гибридный формат работы
• регулярный пересмотр заработной платы и возможность получения годовой премии
• доступ к более чем 400 образовательным программам СберУниверситета
• программу адаптации и поддержку наставника на первых этапах работы
• расширенную медицинскую страховку (ДМС) и выгодные условия страхования для членов семьи
• ипотечные программы для сотрудников
• бесплатные подписки СберПрайм+ и бонусы партнёров
• вознаграждения за рекомендации кандидатов.
