Prompt-инженер

Рувики - новая интернет-энциклопедия.

Наш продукт – Онлайн-энциклопедия, предоставляющая доступ к миллионам статей, изображений и видеороликов по самым различным темам - от истории и науки до искусства и технологий.

О проекте:

Мы развиваем инструменты и сервисы для автоматизации написания, проверки и обогащения статей в Рувики. Используем искусственный интеллект и большие языковые модели (LLM), чтобы повысить эффективность работы авторов и редакторов.

Обязанности:

• Проектирование и улучшение промптов для классификации, генерации, суммаризации, верификации и LLM-судей.
• Разработка тест-кейсов для типовых, сложных и граничных сценариев.
• Анализ FP/FN, ошибок разметки, галлюцинаций, форматных сбоев и prompt injection.
• Сбор и поддержка golden datasets и regression-наборов.
• Проверка structured output: JSON/schema, обязательные поля, стабильность формата.
• Документирование дефектов и передача спорных кейсов аналитику, редактору или разработчику.
• Базовые batch-проверки через Python/таблицы и анализ логов через SQL

Требования:

• Практический опыт работы с LLM в задачах, где важны качество, факты и воспроизводимость результата;
• Умение проектировать промпты для классификации, суммаризации, генерации, проверки фактов и сравнения результатов;
• Понимание QA-подхода к LLM: тест-кейсы, golden datasets, регрессионные прогоны, сравнение версий промптов и моделей;
• Умение анализировать ошибки LLM-пайплайна: FP/FN, спорная разметка, галлюцинации, prompt injection, ошибки формата, дат и чисел;
• Понимание задач кластеризации и дедупликации на уровне логики: отличать похожую тему от того же события;
• Опыт или готовность работать с verifier / LLM judge-подходом, где модель проверяет, сравнивает или маршрутизирует результат;
• Навык grounded generation: генерация только по входным данным, без внешних фактов и неподтверждённых утверждений;
• Умение работать со structured output: JSON, обязательные поля, допустимые значения, проверка стабильности формата;
• Базовые знания Python или уверенная работа с таблицами для batch-прогонов, расчёта метрик и анализа ошибок;
• Базовый SQL для анализа логов, промежуточных результатов и качества пайплайна;
• Умение понятно оформлять выводы: что чинить промптом, что проверкой/guard-ом, что выносить на аналитика, редакцию или разработку;
• Отличная письменная грамотность, внимательность к фактам, датам, числам, формулировкам и источникам;
• Английский не ниже Intermediate для работы с документацией моделей, API и инструментов.

Будет плюсом:

• Опыт с новостными, энциклопедическими, редакционными или фактологически строгими продуктами;
• Опыт с LLM evals, golden sets, regression-наборами и сравнением качества промптов/моделей;
• Опыт с RAG, embeddings, semantic search, кластеризацией, дедупликацией или LLM judge;
• Опыт анализа разметки: поиск ошибок в labels, описание policy conflicts, подготовка спорных кейсов для аналитика/редакции;
• Навыки работы с Git, Docker, REST API, облачными сервисами;
• Опыт сбора и систематизации обратной связи от редакторов, аналитиков или пользователей.

Условия:

• Уровень дохода обсуждается с финальным кандидатом по итогам собеседования.

• Интересные задачи, крутые кейсы, возможность выйти на новый профессиональный уровень.

• 100% «белая» заработная плата, официальное трудоустройство по ТК РФ с первого дня.

• Полная занятость, удаленный формат работы

• Пятидневная рабочая неделя, с пн-пт.

• Дружный и неравнодушный коллектив профессионалов.

• Программа ДМС после успешного прохождения испытательного срока.