Мы - команда GigaCode, разрабатываем и развиваем AI-ассистента для разработчика.
Решаем задачи по различным подходам в NLP и PLP, постоянно проводим ресёрч-эксперименты и обучаем новые SOTA LLM.
Из направлений сейчас: претрейн моделей с нуля и дообучение, инструктивное обучение SFT/DPO/PPO для CodeChat, поиск и RAG, ускорение инференса, генерация тестов, мультиагентность, прототипирование плагинов для сред разработки (VSCode, PyCharm, IDEA). Целимся конкурировать с Copilot и TabNine. Уже сегодня наши модели помогают писать 80к строк кода ежедневно. Подробнее о нашем продукте на сайте: https://gigacode.ru.
Также мы являемся авторами многих моделей для русского языка (ruBERT, ruRoBERTa, ruT5, RuGPT3, FRED-T5). Обучаем на кластере Кристофари, у нас много свободы в использовании GPU. Канал нашей команды в телеграм https://t.me/nlpcoreteam.
Если у вас есть крутые идеи и большие амбиции в PLP и/или NLP направлениях, то присоединяйтесь к нам, будем делать важнейшие исследования вместе!
Обязанности
- дизайн экспериментов, формулировка гипотез для улучшения NLP/PLP моделей и алгоритмов, планирование исследовательских экспериментов с выводами
- проведение экспериментов, написание кода, подготовка датасетов и бенчмарков, проведение замеров и анализ результатов
- обучение моделей на кластере, включая обучение моделей с нуля и дообучение опенсорс моделей
- взаимодействие с прод-командой для интеграции моделей и алгоритмов в продакшн. Взаимодействуем с командой инженеров SberWorks
- ориентированность на SOTA, читать пейперы, быть в курсе последних исследований, предлагать новые смелые подходы и направления.
Требования
- хорошие теоретические знания в DL, с упором в современный NLP и трансформеры
- умение формулировать эксперименты с научной строгостью, обосновывать их, проводить самостоятельно и делать выводы
- опыт обучения трансформеров
- опыт распределенного обучения моделей (deepspeed, fsdp, torch.distributed, accelerate)
- знание стандартных библиотек для DL и NLP (PyTorch и библиотеки Huggingface)
- увлеченность NLP/PLP и DL.
Будет плюсом:
- опыт работы на похожей позиции
- участие в соревнованиях по ML
- сабмиты на лидербордах по NLP/PLP
- публикации
- обучение моделей на кластере.
Условия
- комфортный современный офис рядом с м. Кутузовская
- гибридный формат работы
- ежегодный пересмотр зарплаты, годовая премия
- корпоративный спортзал и зоны отдыха
- система обучения для профессионального и карьерного развития
- расширенный полис ДМС с первого дня работы и страхование для семьи
- программа ипотеки для сотрудников
- бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
- вознаграждение за рекомендацию друзей в команду Сбера.
