QA for LLM-based products

Дата размещения вакансии: 27.10.2024
Работодатель: HeadHunter
Уровень зарплаты:
з/п не указана
Город:
Москва
Требуемый опыт работы:
От 3 до 6 лет

Привет, на связи команда hh.ru!

Мы ищем QA-инженера в команду AI Lab с опытом тестирования продуктов на основе LLM или желанием развиваться в этом направлении.

AI Lab это:

  • Молодая команда на стадии формирования, поэтому ваш вклад будет иметь огромное значение и вы сможете наблюдать результаты своей работы в реальном времени.
  • Своего рода спецназ в мире AI, задача которого - искать максимально эффективные точки применения LLM, AI, проверять большое количество гипотез и лучшие из них доставлять миллионам пользователей.

  • Применение AI в широком смысле: распознание и синтез речи, фото и видео, понимание естественного языка и т.д.
  • Возможность развиваться и расти в интересующем вас направлении и повлиять на результаты, которые изменят будущее технологий HRTech.

Мы стремимся сделать процесс поиска работы и найма максимально удобным и персонализированным для всех участников.

Наша цель - с помощью технологий AI создавать инновационные продукты HRTech, которые изменят игру в этой области.

Тебе предстоит:

  • Обеспечение качества на всех этапах разработки и внедрения сервисов на базе LLM, side-by-side, end-to-end.

  • Ручное тестирование web-приложений, чат-ботов, мобильных приложений в зависимости от поверхности на которую мы приземляем гипотезу.
  • Разработка и выполнение тестовых сценариев.
  • Выявление ошибок, предубеждений и непредвиденного поведения моделей.
  • Исследование и выявление причин неожиданных результатов в работе моделей и связанных алгоритмов.
  • Разработка тестовых сетов и бенчмарков.
  • Тестирование промптов и участие в формировании инфраструктуры и процессов тестирования, включая автоматизацию через LLM.

Что поможет попасть к нам в команду:

  • Опыт в тестировании от 3 лет.
  • Опыт владения Python, знание SQL.
  • Опыт тестирования web-приложений (frontend & backend).
  • Опыт составления тестовой документации.
  • Опыт работы с системами контроля версий.
  • Гибкость мышления, любопытство и хорошие коммуникативные навыки.

Будет преимуществом:

  • Опыт работы с LLM и prompt engineering.

  • Опыт работы с системами оркестрации контейнеров - OS/K8s на уровне пользователя.

  • Опыт работы с фреймворками автоматизации тестирования.

Мы хотим, чтобы каждый сотрудник был доволен своей работой, поэтому мы предлагаем:

  • Гибкий график работы из дома или в офисе.

  • Корпоративное ДМС с первого месяца работы (решаем вопросы со здоровьем быстро и удобно).

  • Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях.

  • Совместную постановку целей с руководителем и индивидуальный план развития.

  • Кофемашина с зерновым кофе, чай, фрукты, йогурты на кухне.

  • В офисе есть тренажеры, настольный теннис, кикер, пул, зона виртуальной реальности и массажные кресла.

  • Куча корпоративных плюшек.