улица Ладо Кецховели 22А
☝️Remote · вне РФ и РБ · разговорный английский
Мы — Aspirity Solution, студия разработки с более чем 10-летним опытом создания веб- и мобильных приложений, no-code решений и интеллектуальных AI-агентов для клиентов по всему миру.
Сейчас мы ищем QA Engineer, который будет отвечать за качество, устойчивость и предсказуемость поведения AI-агентов и LLM-систем.
Чем предстоит заниматься:
-Тестировать и оценивать работу AI-агентов (диалоговые и когнитивные системы).
-Разрабатывать и проводить eval-тесты для проверки корректности, устойчивости и стабильности поведения агентов.
-Подготавливать тест-кейсы и сценарии функционального и нефункционального тестирования.
-Анализировать поведение агентов при нестандартных входных данных, выявлять логические ошибки и проблемы в промптах.
-Плотно взаимодействовать с разработчиками и prompt-инженерами для улучшения моделей и тестовых пайплайнов.
-Поддерживать и развивать автоматизацию тестирования и QA-процессы внутри AI-команды.
-Вести техническую документацию и описывать best practices.
Требования
-Опыт работы в QA (manual или automation) от 2 лет.
-Практический опыт тестирования AI-агентов или чат-ботов.
-Понимание принципов работы AI-агентов, LLM-систем и prompt-инженерии.
-Опыт работы с eval-инструментами (OpenAI Evals, DeepEval, LangChain Evals или аналогами).
-Опыт автоматизированного тестирования (желательно — для AI-агентов).
-Уверенное владение Python на уровне написания тестов и утилитарных скриптов.
-Навыки работы с Git и системами отслеживания ошибок.
-Английский язык от B2 для работы в международной команде.
-Проживание вне РФ и РБ.
-Готовность работать в PT-часовом поясе: с 7:00 до 16:00 PT. (Время Америки, Вашингтон)
Будет плюсом
-Опыт работы с LangChain, vapi, Synthflow или другими инструментами создания AI-агентов.
-Опыт анализа выходов LLM по метрикам качества: accuracy, coherence, relevance.
-Понимание CI/CD-процессов и базовых инструментов мониторинга.
-Участие в построении тестовой архитектуры для AI-систем.
Мы предлагаем
-Полностью удалённый формат работы.
-Работу в сильной команде разработчиков, ML-инженеров и AI-специалистов.
-Возможность профессионально расти в QA для LLM- и AI-агентных систем.
-Оплату по квалификации — от 20 USD/час.
