Разработчик / Инженер локальной RAG‑LLM системы

Обязанности:

• Внедрить и адаптировать офлайн LLM для работы с корпусом школьных учебников.
• Настроить и интегрировать готовый RAG-пайплайн в существующую систему.
• Организовать обработку базы знаний: конвертация документов (PDF/DOCX → текст) при необходимости, предобработка, очистка и чанкинг.
• Настроить и оптимизировать векторное хранилище (ChromaDB, FAISS, Qdrant или Weaviate).
• Подобрать и интегрировать модель эмбеддингов для эффективного поиска по учебникам.
• Интегрировать локальную LLM в формате .gguf (через llama.cpp / llama-cpp-python или аналогичные инструменты) в существующую архитектуру приложения.
• Оптимизировать качество поиска и ответов модели, снизить количество галлюцинаций.
• Настроить процесс обновления базы знаний без необходимости повторного обучения модели.
• Провести тестирование производительности и качества работы офлайн-модели.
• Подготовить документацию по развертыванию, настройке и сопровождению решения.

Требования:

• Требования — Hard skills
  • Практический опыт с LLM и локальным инференсом.
  • Глубокое понимание RAG (ретривер, генератор, контекстные окна, подбор
  негативов, переранжирование).
  • Опыт работы с векторными БД: ChromaDB, FAISS, Qdrant, Weaviate (одна или
  несколько).
  • Опыт с quantized‑моделями и стеком ggml / llama.cpp; понимание формата .gguf.
  • NLP‑базис: чанкинг, токенизация, эмбеддинги (например, sentence‑transformers).
  • Уверенный Python и экосистема (poetry/venv, pytest, logging, CLI).
  • Опыт/понимание fine‑tuning (желательно LoRA/QLoRA).•
  Базовые навыки Linux и работы с CLI, GPU/CPU настройка.
• Требования — Подход и Soft skills
  • Исследовательский подход: постановка гипотез, A/B‑тесты, строгая оценка качества
  ретривера и генератора.
  • Итеративность: идти маленькими шагами с измеримыми улучшениями, а не
  «большой перезапуск обучения».
  • Фокус на данных: качество корпуса и поиска — первично, размер модели —
  вторичен.
  • Целеполагание: «Зачем мы это делаем?» — перед каждым этапом дообучения

Условия:

• Формат работы: в офисе / гибридно (по договорённости).
  • График: гибкий, ориентирован на результат.
  • Компенсация: конкурентная, обсуждается с успешными кандидатами.
  • Процесс: скрининг → техническое интервью → тестовое → финальное интервью →
  оффер