Проект:
Разрабатываем систему, которая автоматизирует весь жизненный цикл инвестиционной сделки.
Команды работают над следующими направлениями:
- Алгоритмизированный поиск потенциальных сделок и клиентов
- Управление процессом заключения инвестиционных сделок
- Финансовые расчеты и оценка портфеля
- Построение финансовой и управленческой отчетности по портфелю инвестиций банка
- Инвестиционные сервисы для компаний - наших клиентов
Инвестиционная платформа - это уникальная разработка на российском рынке для выдачи и сопровождения инвестиционного финансирования юридическим лицам. Такие сделки имеют большое значение для российской экономики.
Используются самые современные технологии и открыты к предложениям участников команды по изменению стека. Вы будете работать с микросервисной архитектурой (Kubernetes, Docker, Istio, Kafka).
Основные требования:
Сильный Python (pandas, NumPy), уверенная аналитика данных, умение быстро превращать «сырые логи» в выводы.
Хорошее понимание оценки качества LLM: какие типы метрик бывают, где они ломаются, как валидировать метрику, как избегать “gaming”.
Понимание статистики и экспериментов: доверительные интервалы, тесты, множественные сравнения, дизайн A/B, интерпретация результатов.
Практический опыт работы с LLM (Open Source и/или proprietary): понимание специфики инструкционного поведения, галлюцинаций, safety ограничений.
Навыки продуктового и инженерного мышления: формулировать критерии качества так, чтобы они становились механизмом управления.
Дополнительные требования:
Опыт построения evaluation фреймворков и “evaluation harness” (любые внутренние/внешние тулзы), интеграция оценок в CI/CD.
Опыт с LLM based evaluation (LLM judge) и методами калибровки/контроля смещения судьи.
Знание систем аналитики и хранилищ (SQL, ClickHouse/BigQuery/Spark/S3), мониторинг/дашборды (Grafana/Superset/Looker и аналоги).
Обязанности:
Владение системой качества и метрик (end-to-end ownership)
Определять и поддерживать “quality scorecard” для AI: что считаем качеством, какие метрики ключевые, какие — нет.
Держать фокус на эффективности системы и снижать стоимость измерений.
Бенчмарки и регрессионное тестирование
Постоянно актуализировать пакет бенчмарков под ключевые сценарии, чтобы успевать за быстро развивающейся сферой LLM.
Внедрить регулярное сравнительное тестирование версий модели и конкурентов по единой.
Аналитика логов и диагностика слабых мест
Анализировать логи и пользовательский фидбэк с позиции качества: кластеризация проблем, тематические срезы, частотность, тяжесть.
Связывать проблемы в логах с бенчмарками: проблемы должны быть измеримы.
Разработка и внедрение метрик качества
Разрабатывать новые метрики/прокси метрики (автоматические и полуавтоматические), калибровать их против эталонных оценок.
Продумывать, где нужна человеческая оценка, где достаточно автоматики, как снижать стоимость измерений без потери достоверности.
Внедрять метрики в процессы: CI/релизные проверки, мониторинг качества, алерты.
Эксперименты и принятие решений
Проектировать и анализировать A/B-эксперименты качества (в онлайне и/или в контролируемых тестах), делать выводы: “что улучшилось/ухудшилось”, “почему”, “что делать дальше”, “можно ли катить в прод”.
Условия:
Возможность карьерного роста и получения экспертизы в ведущих финансовых организациях страны;
Скидки на абонемент в фитнес-центр, курсы английского языка;
Оформление по ТК РФ на бессрочный трудовой договор;
Удаленный формат работы (РФ).
