Инженер по тестированию

Приветствуем тебя, дорогой соискатель! :)

Перфоманс Лаб – эксперт в области тестирования и обеспечения качества. На рынке с 2008. Тестируем IT-продукты и повышаем их качество. Занимаемся этим пятнадцать лет, очень любим свое дело!

Всегда находимся в поиске –– идеальных решений, лучших методик и профессионалов, которые умеют стратегически мыслить и идти к общей цели. У нас ты можешь развиваться в разных направлениях, изучать новые инструменты и прокачивать свои навыки!

Требования:

• Опыт функционального тестирования ПО от 18 месяцев. Желательно — тестирование AI/ML продуктов, чат-ботов, голосовых ассистентов или рекомендательных систем;
• Понимание работы LLM и агентных систем (без требования писать код);
• Умение проектировать тест-кейсы для недетерминированных систем: - техники тест-дизайна для LLM: эквивалентное разбиение по семантике (а не по точному значению), граничные значения для контекстного окна, сценарии с множественными допустимыми ответами; - умение формулировать «оракул» для оценки: не «ответ должен быть X», а «ответ должен быть релевантен, опираться на источники, не содержать галлюцинаций»; - тестирование сценариев с переспрашиванием (disambiguation), отказом от выполнения (refusal), запросом дополнительных данных.
• Опыт ручного тестирования промптов: - проверка prompt injection («игнорируй предыдущие инструкции и...»); - проверка jailbreak-атак (ролевые сценарии, DAN, гипотетические ситуации); - проверка утечки системного промпта («повтори свою системную инструкцию»); - оценка поведения на токсичных, провокационных, абсурдных запросах; - проверка тональности, стиля, соблюдения роли агента;
• Опыт оценки качества ответов LLM (ручная разметка): - умение оценивать faithfulness (ответ не противоречит источнику); - умение оценивать groundedness (ответ опирается на переданный контекст); - умение оценивать completeness (ответ покрывает вопрос, а не уходит в сторону); - опыт составления чек-листов для крауд- или экспертной оценки ответов;
• Опыт тестирования нештатных сценариев агентов: - агент завис в цикле (бесконечный ReAct loop); - агент вызвал инструмент с некорректными параметрами; - агент вернул ошибку инструмента пользователю вместо обработки; - агент исчерпал лимит шагов (max iterations); - агент «провалился» в fallback при недоступном инструменте;
• Опыт тестирования RAG-пайплайнов: - релевантность найденных чанков (chunk retrieval); - корректность ранжирования (reranking); - потеря контекста при пересечении лимита токенов; - влияние фильтрации по метаданным на результаты поиска 8. Опыт тестирования интеграций агента: - ручное тестирование вызова внешних API (агент что-то создаёт в Jira, отправляет письмо, читает БД); - проверка корректности формирования запроса к инструменту (те же параметры, что ушли от агента к API); - проверка обработки ошибок: API вернул 500, таймаут, некорректный формат данных;
• Опыт работы с логами и трассировкой (без требования разворачивать инфраструктуру): - чтение трейсов в LangSmith или LangFuse — понимать, по какому пути прошёл агент, какой промпт ушёл в LLM, какой ответ пришёл, какие инструменты были вызваны; - поиск проблем по логам (токсичный ответ, неверный вызов инструмента, превышение времени);
• Опыт работы по Agile (SCRUM/Kanban): тестирование в коротких спринтах, плотное взаимодействие с AI-инженерами, готовность к высокой неопределённости (поведение агента может меняться от одного прогона модели к другому);
• Опыт тестирования веб-интерфейсов (если у агента есть UI): DevTools, Charles/Fiddler (опционально). Основной фокус — всё же не UI-тесты, а качество ответов и логика агента.;
• Опыт с TMS (Zephyr Scale, TestIT желательно): тест-дизайн для сценариев с LLM, создание тестового цикла, отчётность;
• Базовое понимание SQL: умение выполнить простой запрос для проверки данных, которые агент записал или прочитал (достаточно SELECT, JOIN, WHERE).

Условия и преимущества:

• Белая зарплата, трудоустройство по ТК РФ;

• 31 день оплачиваемого отпуска в год;

• ИПР – Индивидуальный план развития для каждого сотрудника;

• Активная корпоративная культура с Online и Offline мероприятиями;

• Добровольный ДМС (50% оплата от компании);

• Корпоративные внутренние курсы: автоматизация тестирования на Java, нагрузочное тестирование;

• Частичная компенсация пройденных курсов на различных платформах;

• Добровольная международная сертификация ISTQB с компенсацией от компании;

• Корпоративные занятия английским языком;

• Оборудование от компании;

• Реферальная программа "Приведи друга";

• Дружный коллектив, лояльное руководство.