з/п не указана
Москва
От 3 до 6 лет
Миссия роли: Обеспечивать высокую бизнес-ценность и качество работы ИИ-агентов. Отвечать за дизайн промптов, анализ результатов, коммуникацию с вендорами и успешное внедрение решений в бизнес-процессы.
Ключевые задачи:
- Анализ бизнес-процессов и проектирование сценариев (workflows) для ИИ-агентов, работающих с документами, скорингом и ресерчем.
- Разработка, тестирование, оптимизация и версионирование промптов (prompt templates) и инструкций для различных LLM (как облачных, так и локальных).
- Глубокая аналитика работы агентов: анализ логов, оценка качества ответов (accuracy, relevance), формирование метрик и датасетов для дообучения.
- Прямая коммуникация с техническими командами вендоров: постановка задач на улучшение их моделей/промптов, тестирование их решений, сравнение эффективности.
- Координация внедрения: сбор требований от стейкхолдеров, подготовка инструкций, обучение пользователей, сбор обратной связи.
- Работа с англоязычными интерфейсами и документацией легаси-систем (LMS1/2).
Требования:
- Системное аналитическое мышление и опыт декомпозиции сложных бизнес-задач.
- Глубокое понимание принципов работы LLM и продвинутые навыки prompt engineering (chain-of-thought, few-shot, JSON-formatted output).
- Умение работать с данными: SQL на уровне написания запросов, базовый Python (Pandas) для анализа логов и метрик.
- Отличные коммуникативные навыки, умение работать на стыке бизнеса, разработки и внешних вендоров.
- Ответственность за результат и ориентация на практическую пользу (delivery).
- Уровень английского языка Upper-Intermediate и выше (чтение тех. доков, ведение переписки).
- Опыт работы в банках/финтехах.
Желательные требования:
- Опыт работы с инструментами observability для LLM (LangSmith, Weights & Biases).
- Базовое понимание архитектуры интеграций (REST, Kafka) для диалога с разработчиками.
- Опыт в области, связанной с обработкой документов или скорингом.