Middle QA Engineer (ML,LLM,RAG)

Дата размещения вакансии: 29.07.2026
Работодатель: EvoAI
Уровень зарплаты:
з/п не указана
Город:
Москва
Требуемый опыт работы:
От 3 до 6 лет

Кто мы

EVO AI — IT-компания в области AI-консалтинга и генеративного искусственного интеллекта.
Мы разрабатываем и внедряем AI-агентов, ассистентов и комплексные AI-решения для бизнеса, а также развиваем собственную no-code платформу NovaAgent для создания и оркестрации AI-агентов.
Работаем с крупным российским и международным бизнесом.
От нас ожидают не просто технологию, а глубокое понимание бизнес-процессов и отраслевой специфики клиентов.

Основные обязанности:

Анализировать требования и критерии приемки, выявлять пробелы и риски до начала разработки.

Подготавливать test plan, чек-листы, тест-кейсы, наборы тестовых данных и acceptance scenarios для закреплённых проектов.

Проводить функциональное, интеграционное, системное, API, UI, E2E, smoke, sanity, regression и re-testing.

Проверять корректность данных в БД, анализировать логи и взаимодействие с внешними сервисами.

Фиксировать дефекты с воспроизводимыми шагами, ожидаемым и фактическим результатом, severity, evidence и связью с требованием.

Поддерживать регрессионные наборы и обеспечивать готовность проекта к внутренней и клиентской приемке.

Выполнять AI/LLM/RAG/agent testing по методике Senior: запускать eval-наборы, анализировать ошибки и формировать новые тестовые сценарии.

Автоматизировать повторяемые API/UI/регрессионные проверки и подключать их к CI/CD под техническим руководством Senior.

Помогать проектным командам использовать QA-шаблоны, проводить self-testing и корректно оформлять результаты.

Участвовать в обучающих сессиях, office hours и ревью тестовых артефактов.

Обязательные профессиональные компетенции:

База QA

Практический опыт коммерческого тестирования от 3 лет.

Знание техник тест-дизайна, жизненного цикла дефекта, уровней и видов тестирования.

Умение самостоятельно декомпозировать требования в набор проверок и определять приоритет тестовых сценариев.

API, интеграции и данные

Уверенное тестирование REST API через Postman, Swagger/OpenAPI или аналогичные инструменты.

Работа с SQL на уровне выборок, проверок состояния данных и поиска причин несоответствий.

Навык чтения логов и базовое понимание HTTP, JSON, авторизации, очередей и интеграционных взаимодействий.

Тестовая документация и процессы

Умение писать понятные чек-листы, тест-кейсы, bug reports и test reports.

Опыт работы с Jira/Confluence или аналогичными системами.

Понимание DoR/DoD, acceptance criteria, smoke/regression suite и release checklist.

Автоматизация

Базовые навыки программирования или скриптинга на Python, Java либо JavaScript/TypeScript.

Опыт написания простых API- или UI-автотестов; готовность развиваться в автоматизации.

Базовое понимание Git и CI/CD, способность запускать, анализировать и поддерживать автотесты.

AI QA

Понимание особенностей LLM/RAG/agent testing и недетерминированного поведения моделей.

Способность проводить разметку и анализ eval-наборов по критериям accuracy, relevance, completeness, groundedness и safety.

Готовность проверять негативные, edge-case, fallback, tool calling и human handoff сценарии.

Коммуникация:

Умение аргументированно обсуждать дефекты с разработчиками и PM без формального подхода «передать баг и ждать».

Готовность обучать коллег базовым QA-практикам и поддерживать внедрение стандартов в проектах.

Желательный опыт:

Опыт тестирования backend, микросервисов, AI-сервисов или проектов с большим количеством интеграций.

Опыт с pytest, Playwright/Selenium, Newman, k6/JMeter или аналогичными инструментами.

Навык работы с Docker и тестовыми окружениями.

Опыт участия в клиентской приемке и сопровождении production-релизов.

Условия:

  • Удаленный формат работы с 09.00 до 18.00 по мск.
  • Оформление по ТК РФ.
  • Участие в ML-/LLM-проектах федерального уровня.
  • Сильная команда, в которой есть возможность для реализации творческих идей и профессионального роста.