Ищем исследователей в команду NLP Core RnD в направление PLP.
Наша команда занимается обучением SOTA моделей для решения задач NLP и PLP .
Мы авторы многих моделей для русского языка (ruBert, ruRoberta, ruT5, ruGPT3, FRED-T5). Канал нашей нашей команды в телеграмеhttps://t.me/nlpcoreteam
В PLP (Programming Language Processing) мы делаем модели и силами команды SberWorks внедряем их в продукты для разработчиков. Это новое и очень перспективное направление в ИИ. Делаем плагины для сред разработки. Разработали плагин автозавершения кода для VSCode,
PyCharm, IDEA . В Сбере уже более 6000 строк кода в день пишут наши модели. Мы целимся превзойти результаты Copilot, TabNine. Занимаемся исследованиями различных подходов в PLP и разработкой новых моделей.
Если вы имеете амбиции добиться результатов в PLP и имеете много идей, что нового попробовать в этой области, то давайте к нам!
Обязанности
- Формулирование гипотез исследований;
- Проведение экспериментов по обучению моделей на суперкомпьютере (кластре с гпу);
- Претрейн новых моделей PLP с нуля;
- Валидация моделей;
- Прототипирование работы моделей.
Требования
- хорошие теоретические знания в DL;
- знание последних достижений в области NLP/PLP. Постоянно следите за последними пейперами;
- умение формулировать эксперименты с научной строгостью, обосновывать их и проводить самостоятельно;
- опыт тюна моделей на различные задачи NLP/PLP;
- опыт обучения трансформеров с нуля;
- распределенное обучения моделей (horovod, torch.distibuted);
- стандартные библиотеки для DL и NLP (PyTorch, TensorFlow, Transformers);
- увлеченность NLP/PLP и DL;
Дополнительно плюсом будет:
- участие в соревнованиях по ML;
- сабмиты на лидербордах по NLP/PLP;
- публикации;
- обучение моделей на кластере;
- оценка качества моделей;
- оптимизация инференса моделей;
Условия
- оформление по ТК РФ;
- возможность работать удалённо или в офисе;
- социальный пакет (ДМС);
- возможность посещения конференций, обучения и сертификации за счет компании;
- офис: Москва, Кутузовский 32.
