Пресненская набережная 8с1
О проекте
Мы создаём LLM-оркестратора («Агент ТОиР»), который автоматически генерирует и поддерживает документацию ТОиР: карты ТО, ведомости МТР/инструментов/СИ, требования к персоналу/безопасности, планы ППР/ППО, протоколы, акты, а также обрабатывает внеплановые кейсы. Система опирается на НСИ/нормативы, RAG-поиск, шаблоны документов и строгую последовательность зависимых артефактов.
Миссия и роль
Спроектировать и поддерживать промт-архитектуру и «правила игры» для LLM так, чтобы агент ТОиР генерировал корректные, трассируемые и воспроизводимые документы, опираясь на нормативы и источники, с предсказуемыми затратами и временем отклика.
Зоны ответственности
Архитектура промтов и сценариев
-
Проектирование многоуровневых промтов (system/developer/user), ролей и инструментов (function calling/structured output).
-
Создание библиотек шаблонов промтов для типовых артефактов ТОиР (карты ТО, ведомости, протоколы, акты, ППР/ППО).
-
Разработка DSL/плейбуков генерации: пошаговые цепочки (decompose → retrieve → reason-with-constraints → generate → validate → cite).
Grounding, RAG и цитирование
-
Настройка retrieval-шагов: формирование запросов, выборка фрагментов, обязательное цитирование НД/НСИ в выходных данных.
-
Политики отказа: если релевантных источников нет/устарели — контролируемый отказ, а не «догадка».
Структурированный вывод и валидация
-
Строгие JSON-схемы для всех выходов агента (в т.ч. мэппинг в docx/html-шаблоны).
-
Автоматические валидаторы (Pydantic/JSON Schema/guardrails), пост-правки (self-check, critique-loop) без раскрытия внутренних рассуждений пользователю.
Качество, метрики и PromptOps
-
Построение оценочного контура: golden-datasets, регрессионные наборы, метрики groundedness/faithfulness, precision\@k retrieval, schema-validity, citation-coverage, latency p95/сost.
-
A/B-эксперименты по шаблонам промтов и цепочкам; ведение реестра промтов (версионирование, semantic diff, Changelog).
-
Наблюдаемость: логи запросов/ответов, трейсинг цепочек, алерты по деградациям.
Безопасность и соответствие домену
-
Гардрейлы: запрет «галлюцинаций», проверка дат/версий нормативов, блоки-памятки по ОТ/ЭБ, корректная терминология.
-
Политики: «не раскрывать внутренние рассуждения», фильтры чувствительных данных, единицы измерения и округления.
Основные артефакты (deliverables)
-
Набор system/developer-промтов по каждому артефакту ТОиР + справочники подсказок (style-guides).
-
JSON-схемы выходов, валидаторы, примеры и негативные тесты (schema-fuzzing).
-
Prompt Registry: каталог промтов, версии, Changelog, инструкции отката.
-
Эвал-отчёты: метрики качества/стоимости/задержек, графики деградаций, чек-листы релизной готовности.
Требования (must-have)
-
2–4+ года в LLM/NLP/Prompt Engineering или ML-продуктах; опыт промтов под русскоязычную документацию.
-
Практика structured output (JSON Schema, function calling), RAG-подходов и «grounded generation».
-
Уверенный опыт в вариантном тестировании промтов (A/B), построении golden-сетапов, метрик качества.
-
Понимание доменных ограничений: нормативные ссылки, версии, единицы измерения, безопасность работ и пр.
-
Инженерная дисциплина: Git, код-ревью артефактов промтов, ведение реестра, reproducibility.
-
Коммуникации: умение переводить бизнес-требования BA в промт-цепочки и обратно.
Инструменты/стек (ориентир)
PromptOps: Git + Prompt Registry (semantic-diff), CI для эвалов.
Валидация: JSON Schema/Pydantic/guardrails, собственные чекеры.
Оценка: наборы эталонов, скрипты автопроверок, отчётность (ноутбуки/дэшборды).
Документы: docx/html-шаблоны и маппинг данных.
Условия
-
от 300к на руки
-
оформление по ТК
-
живая команда, гибкое принятие решений
-
KPI к этапам и результатам
-
комфортный удобный офис (Москва сити)
-
возможен гибрид после ИС
