от 150000 RUR
Москва
От 1 года до 3 лет
Приветствуем, наш будущий коллега!
Мы развиваем действующий бизнес и активно используем собственную AI-систему для поиска новых возможностей роста бизнеса, анализа Reddit-постов, комментариев.
Наша система находит бизнес-идеи, оценивает их потенциал, убирает дубли и запускает несколько AI-моделей для обсуждения и принятия финального решения.
В связи с новым пулом задач ищем в команду
LLM Prompt Middle
Обязанности:
- написание системных и пользовательских промптов для сложных задач;
- тестирование промптов, сравнение версий, работа с критериями качества;
-
ручная проверка результатов модели, поиск галлюцинаций, ошибок классификации и ложноположительных результатов;
- проектирование стабильных структурированных выводов в виде json-схем;
- улучшение промптов на основе ошибок модели и качества выходных данных;
- работа с неструктурированным текстом — анализ постов, комментариев, длинных тредов, шума, сарказма и неполного контекста.
Требования:
- опыт работы от 2 лет с LLM / AI-инструментами или AI-продуктами;
- опыт составления и тестирования сложных промптов;
- понимание того, как проверять качество ответов модели через тестовые примеры, критерии оценки и разбор ошибок;
- умение отличать хороший LLM-ответ от просто красиво написанного;
- английский на уровне, достаточном для анализа Reddit-постов и комментариев.
- аккуратность, внимательность к деталям и готовность руками разбирать спорные кейсы.
Будет Вашим плюсом:
- Опыт в AI QA, data annotation, search quality или product analytics.
- Базовое понимание Python / SQL.
- Опыт работы с LLM API.
- Опыт с judge-prompts, self-critique, multi-agent debate или похожими подходами.
- Опыт в стартапах, market research или продуктовой аналитике
Условия:
- удаленная работа в распределенной команде;
- частичная регулярная занятость в рамках разовых задач;
- задачи регулярные, работа будет всегда;
- сдельная оплата труда - за выполненную работу.
