Мы команда GigaChat - создаём и развиваем core-технологию генеративной языковой модели. Сейчас GigaChat умеет создавать тексты, понимать аудиосигналы и вести с вами беседы голосом, создавать изображения, решать сложные математические задачи и даже программировать на CUDA. Мы убеждены, что создание большой языковой модели требует сочетания наукоемких исследований, тщательного проектирования архитектуры обучений и грамотной организации внутренних процессов.
Наша команда осенью выпустила сильную русскоязычную модель GigaChat MAX уровня GPT-4 (метрики в статье), а этой зимой выложили в открытый доступ одну из наших MoE-моделей. Теперь мы ищем талантливого Engineer-а, который поможет нам ускорять инфраструктуру обучений, работая с самым современным железом в индустрии. В этой роли вы будете сотрудничать с нашим ML и Production командами, ускоряя их обучения в том числе на аппаратном уровне.
Обязанности
- профилировать и ускорять нашу систему обучений
- писать Hardware-специфичные кернелы обучений, в том числе для балансировки нагрузки в распределенных системах
- повышать стабильность работы обучений
- применять и оптимизровать новейшие методы обучений, доводить их до production-решений
- постоянно держаться up-to-date со свежими статьями.
Требования
- уверенное владение Python, С++, Pytorch/Tensorflow
- знание базовых алгоритмов и математики
- опыт работы с одной из технологий: CUDA, Triton, PTX
- опыт работы с аппаратными ускорениями для видеокарт NVIDIA A100, H100, H200
- понимание работы с RDMA сетями, NCCL, MPI
- понимание текущего состояния эволюции распределенных вычислений и написания hardware-эффективных ядер
Будет плюсом:
- наличие публикаций
Условия
- комфортный современный офис рядом с м. Кутузовская
- возможность выбрать удобный график – офис/гибрид/удаленка (в РФ)
- годовая премия
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- ипотека для сотрудников по дисконтной прогамме
- бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
- вознаграждение за рекомендацию друзей в команду Сбера.
