Ведущий инженер по моделям машинного обучения (RAG+LLM)

Мы ищем сильного инженера, который не просто знает теорию, а умеет превращать LLM в реально работающие бизнес-инструменты. В команде мы строим сложные RAG-пайплайны и мультиагентные системы для работы с корпоративными данными. Наша цель — автоматизация экспертизы: от поиска ответов в огромных массивах документов до выполнения рутинных действий агентами.

Чем предстоит заниматься:

• Проектирование RAG-пайплайнов: Разработка полного цикла обработки данных — от умного чанкинга и подбора эмбеддингов до настройки ретриверов, реранкеров и генерации финального ответа.

• Борьба за качество: Улучшение релевантности поиска, минимизация галлюцинаций, работа с векторными БД (Milvus, Qdrant, pgvector), настройка метрик оценки (Hit Rate, MRR, Faithfulness).

• Разработка LLM-агентов: Создание агентов с функциями планирования, вызова инструментов (function calling), интеграция с внешними API и корпоративными системами.

• Продакшн и инженерия: Упаковка моделей и пайплайнов в высокодоступные сервисы (FastAPI), контейнеризация (Docker), настройка мониторинга и логирования.

• Оценка и валидация: Построение бенчмарков, пайплайнов A/B-тестирования и автоматизированной оценки ответов LLM (LLM-as-a-Judge).

• R&D: Быстрое прототипирование гипотез, тестирование новых моделей и подходов, валидация идей от «сырой» гипотезы до работающего MVP.

Пожелания к твоему опыту и знаниям:

• Опыт в DS/ML от 3-х лет с фокусом на NLP и продакшн-разработку.

• Python-разработчик с инженерным мышлением: Чистый код, работа с асинхронностью, понимание принципов построения API.

• Практический опыт построения RAG: Понимание проблем latency, стоимости токенов, качества retrieval и способов их решения в реальных проектах.

• Опыт с агентами: Работа с фреймворками оркестрации (LangChain, LlamaIndex, LangGraph — хотя бы один стек уверенно).

• Математический бэкграунд: Понимание архитектуры трансформеров, уверенное владение промпт-инжинирингом, работа с эмбеддингами и векторными БД.

• DevOps навыки: Уверенное владение Linux (bash), Git, Docker. Опыт разворачивания моделей в контейнерах.

• Оценка качества: Умение строить датасеты для оценки, знание метрик для генеративных моделей.

Будет плюсом:

• Опыт fine-tuning LLM (LoRA, QLoRA, PEFT).

• Работа с Open-Source моделями (Llama, Mistral, Phi) — инференс, квантизация (GGUF/AWQ).

• Опыт с оркестрацией пайплайнов (Airflow).

• Знание MLOps (MLflow, CI/CD для ML, мониторинг дрейфа данных).