Senior Data Scientist в команду LLM-разметки в AI VK

Наша команда управляет контентом, обогащая его дополнительной информацией за счёт ML-моделей, краудсорсинга, LLM. Мы являемся центром экспертизы по автоматизированной разметке, за счёт которой работают рекомендации, поиск, модерация и антифрод. Именно наша команда строит ML-модели и предоставляет предиктивную аналитику по контенту и профилям для бизнес-юнитов холдинга. Для этого мы выстраиваем end-to-end пайплайны обработки и дистрибуции данных, обучаем и используем как классические ML-модели, так и LLM (LLaMa, ChatGPT и другие).

Мы ищем в команду сервиса LLM-разметок Senior Data Scientist с опытом интеграции LLM/VLM в бизнес-процессы компании.

Задачи

• Построение и улучшение ML-архитектуры процессов обработки данных с использованием внутренних и внешних LLM/VLM
• Автоматизация за счёт LLM/VLM бизнес-процессов, в которых классические ML-модели недостаточно эффективны
• Обучение классических ML-моделей, настраивание их качественной и количественной оценки, анализ результатов
• Работа с краудсорсингом и внутренними инструментами разметки для подготовки Ground Truth данных
• Взаимодействие с заказчиками, груминги, декомпозиция крупных ML-проектов

Требования

• Успешный опыт интеграции LLM/VLM в бизнес-процессы
• Опыт работы с Python (Pandas, NumPy, SciPy, CatBoost, XGBoost), SQL (оконки, процедуры) — для подготовки данных и обучения ML-моделей
• Опыт работы с Airflow, BI-системами — Datalens/Superset/Tableu/Power-BI
• Высшее техническое или математическое образование
• Более двух лет опыта на позиции Data Science или Machine Learning
• Хорошие soft-скиллы
• Умение работать с математической статистикой для управления статзначимостью метрик моделей и пайплайнов
• Опыт работы с Hadoop, PostgreSQL или YT
• Будет плюсом опыт работы с краудсорсингом и асессорской разметкой