Инженер по тестированию (AI/LLM)

Мечтай о большем с Napoleon IT

Мы — не просто IT-компания, а место, в котором искусственный интеллект объединяется с человеческим.

Мы - это более 200 сотрудников, 3 офиса в России, 3 разных направления развития: заказная разработка, outstaffing, собственные продукты.

Помимо уже существующих продуктов и решений на основе AI, мы активно развиваем разработку с использованием технологий LLM и Generative AI. Мы строим мультиагентные системы и платформенные решения для брендов, ритейла и маркетплейсов.

Реализовывая принцип LLM First, мы стараемся внедрять LLM-технологии во все внутренние процессы, чтобы освободить ресурс для смелых идей, уникальных проектов и амбициозных целей.

Наша цель — упростить доступ к передовым технологиям и позволить людям мечтать о большем, и для этого нам необходима твоя экспертиза.

Мы делаем упор не на классическое веб-тестирование, а на проверку «мозгов» продукта - больших языковых моделей (LLM). Сейчас мы находим в поиске Инженера по тестированию (AI/LLM) для работы на двух проектах :

Tayle — ИИ-сервис для presale-инженеров в сфере сетевого оборудования. Помогает быстро подбирать аналоги и замены для сложного оборудования. Ядро продукта — бэкенд-сервис с AI, который сейчас работает как Telegram-бот, параллельно разрабатывается админ-панель и интеграция в Битрикс. Проект в активной разработке.

Document AI — собственная технология интеллектуального анализа юридических и бизнес-документов. На базе этой технологии будут появляться новые клиентские проекты. Технология в активной разработке.

Чем предстоит заниматься:

- Проводить функциональное, регрессионное и исследовательское тестирование AI/LLM решений на вебе и мобильных платформах. Искать неочевидное там, где машина пытается мыслить.

- Анализировать ответы модели на релевантность, полноту и корректность. Отделять факты от «галлюцинаций».

- Пытаться взломать модель с помощью prompt injection и jailbreak, чтобы сделать её безопаснее.

- Проверять стабильность и воспроизводимость ответов, тестировать работу с длинным контекстом и удержание нити диалога.

- Тестировать API, через которое наши продукты общаются с LLM-провайдерами.

- Создавать тест-кейсы и чек-листы, документировать баги в трекере.

- Работать в связке с разработкой, продактом и ML-командой, чтобы делать продукты лучше на каждом этапе.

Что мы ждем от тебя :

- Опыт ручного тестирования веб-приложений от 2 лет;

- Понимание принципов работы LLM (промпты, токены, температура, контекстное окно);

- Опыт или сильный интерес к тестированию AI/ML-продуктов;

- Умение оценивать качество нечётких, вероятностных ответов;

- Знание техник тест-дизайна, видов и уровней тестирования;

- Опыт тестирования REST API (Postman, Swagger);

- Работа с баг-трекерами (Jira, YouTrack);

- Умение работать с DevTools, читать логи;

- Понимание клиент-серверной архитектуры.

Будет плюсом:

- Опыт тестирования мобильных приложений (iOS/Android);

- Опыт оценки качества ответов LLM (разметка, ранжирование, A/B-тесты промптов);

- Знакомство с prompt engineering;

- Понимание метрик AI-моделей (precision, recall, BLEU, human evaluation);

- Опыт тестирования RAG-систем;

- Базовый SQL;

- Навыки автоматизации (Selenium, Playwright) на уровне запуска тестов;

- Английский B1+ (чтение документации).

Что мы предлагаем:

- Оформление в аккредитованную IT-компанию;

- Гибкое начало рабочего дня, гибридный график в Мск, либо удаленный формат работы;

- Индивидуальный план развития для каждого сотрудника с возможностью освоения новых технологий;

- Насыщенная корпоративная жизнь: онлайн- и офлайн-квизы, выездные корпоративы, спортивные мероприятия, творческие тимбилдинги, тематические вечеринки и многое другое;

- Оплата участия в профильных онлайн-конференциях (HighLoad++, Podlodka, Mobius и др.);

- Компенсация расходов на покупку профессиональной литературы;

- Доступ к курсам нашей объединенной IT-школы GIGASCHOOL.