Ищем специалиста по дообучению (Fine-Tuning) и адаптации открытых LLM под наши задачи.
Фокус — SFT (Supervised Fine-Tuning), подготовка датасетов и оптимизация моделей.
Ключевое требование - Понимание процесса обучения моделей: как выбрать базовую модель, как подготовить данные, чтобы модель не «поглупела» (catastrophic forgetting), и как оценить, что она действительно научилась новому.
Что предстоит делать:
- Проектировать и вести пайплайны обучения:
- Собирать и чистить датасеты (Data Engineering для LLM).
- Выбирать подходящие Open Source модели (Llama, Mistral, Qwen и др.).
- Настраивать гиперпараметры обучения.
- Проводить Fine-Tuning:
- Использовать эффективные методы (LoRA, QLoRA) для адаптации весов.
- Экспериментировать с Full Fine-Tuning.
- Разрабатывать метрики качества для проверки обученной модели.
- Квантовать модели для запуска на ограниченном железе.
Программирование и Техническая часть: Python — уверенный уровень.
