Мы команда Data World, входим в ГК Технос - представители амбициозной и технологичной сферы IT. Создаем ПО для ФинТеха. Топовые банки уже доверили нам самые сложные высокотехнологичные проекты.
На старте еще один интересный и высокотехнологичный проект для Сбера.
Проект:
Мы создаём платформу нового поколения на стыке электронной коммерции и финансовых технологий. В основе — мультиагентная система и автономные AI-агенты, которые берут на себя поиск, переговоры и заключение сделок. Мы переосмысливаем привычные пользовательские сценарии: от простого подбора до полностью автономного исполнения задач. Проект на ранней стадии: fast-track прототип до 15.08, проверка ключевых гипотез, подготовка к масштабированию до 15.11. Работа в кросс-функциональной команде с прямым контактом между разработчиками, аналитиками и владельцем продукта.
Задачи:
Чем предстоит заниматься
Вы — единственный специалист по качеству в команде с ответственностью от тест-стратегии до eval-ов ML-компонентов и нагрузочного тестирования. Ваша задача — чтобы на каждом демо платформа работала предсказуемо, а метрики компонентов были измеримы и прозрачны.
Тест-стратегия и процессы
- Разработать тест-стратегию для всего прототипа: что тестируем, на каком уровне, с какими инструментами, в какой момент.
- Выстроить процесс тестирования в команде: когда пишутся тесты, кто за что отвечает, как фиксируются баги.
Автотесты
- Написать автотесты API: валидация контрактов между всеми сервисами (TG-бот ↔ агент покупателя, агент покупателя ↔ A2A-сервер, A2A-сервер ↔ агент мерчанта, эскроу), проверка кодов ответов и таймаутов, иные.
- Написать интеграционные автотесты: сквозные цепочки — «задача → оффер → акцепт → эскроу → завершение», «задача → отмена → возврат».
- Поддерживать автотесты в актуальном состоянии при изменениях API.
Ручное тестирование
- Проводить прогон пользовательских сценариев по CJM перед каждым демо.
- Тестировать корнер-кейсы.
Eval-ы ML-компонентов
- Совместно с DS/ML-инженером (LLM) автоматизировать eval-ы интента: прогон набора из 50–100 запросов, сравнение с ожидаемым structured intent, расчёт точности и полноты.
- Совместно с DS/ML-инженером (LLM) и бизнес-аналитиком организовать eval-ы ризонинга.
- Совместно с DS/ML-инженером (ML) автоматизировать eval-ы ранжирования.
- Совместно с DS/ML-инженером (ML) автоматизировать eval-ы матчинга: расчёт precision, recall.
Нагрузочное тестирование
- Провести нагрузочное тестирование A2A-сервера и эскроу, других ключевых компонент системы.
Регресс и баг-трекинг
- Проводить регрессионное тестирование перед каждым демо: автоматизированный прогон + ручной чек-лист ключевых сценариев.
- Вести баг-трекинг: фиксировать, приоритизировать, отслеживать исправление.
Требования:
- Опыт: от 2 лет в тестировании, из них от 1 года в автоматизации.
- Python: уверенное владение для написания автотестов (pytest, requests/httpx).
- API-тестирование: опыт валидации REST API и/или JSON-RPC, понимание контрактного тестирования.
- Интеграционное тестирование: опыт написания тестов с поднятием окружения.
- Ручное тестирование: опыт тестирования сложных пользовательских сценариев, а не только изолированных функций.
- Самостоятельность: способность выстроить тестирование с нуля в новом проекте.
Опционные требования:
- Опыт тестирования ML/LLM-компонентов или участия в eval-циклах.
- Опыт нагрузочного тестирования.
- Опыт тестирования чат-ботов или диалоговых интерфейсов.
- Опыт в e-commerce, fintech или маркетплейсах.
- Опыт запуска MVP/пилотов с быстрым циклом обратной связи.
Условия:
- Формат работы - удаленно
- Оформление в соответствии с ТК РФ (срочный трудовой договор до конца года)
- Гибкое начало рабочего дня.
- Входим в список IT лицензированных аккредитованных компаний
- Уровень дохода зависит от уровня кандидата, обсуждается индивидуально
- Предоставление техники
- ДМС+ стоматология
- Изучение английского языка
- Корпоративный спортзал
- Корпоративные активности: профессиональные митапы, квизы
- Прокачка скилов в экспертном IT пространстве
