Разрабатываем и внедряем передовые методы мультимодальной генерации. Используются следующие модальности – на входе изображения/текст/звук/видео, на выходе – видео/звук. Фокус — разработка новых архитектур, обучение больших моделей (десятки/сотни миллиардов параметров), оптимизация и удешевление инференса.
Обязанности
Чем предстоит заниматься:
• исследовать и разрабатывать новые методы мультимодальной генерации
• исследовать и разрабатывать методы генерации image-to-video, first-last frame to video, video continuation. Оптимизация пайплайна обучения и инференса – сбор датасета, разработка архитектуры модели, обучение, оценка, оптимизация скорости инференса и стоимости генерации
• исследовать и разрабатывать методы генерации text(image)-to-video+audio, оптимизация пайплайна обучения и инференса – сбор датасета, разработка архитектуры модели, обучение, оценка, оптимизация скорости инференса и стоимости генерации
• совместно работать с продуктовой и командой опенсорса в целях стабильного и быстрого инференса моделей в разных средах и на разных поверхностях – GigaChat/ComfyUI/diffusers etc
• технически описывать разработанные решения – статьи, документирование, техрепорт
Требования
Ждём от кандидата:
• экспертный уровень Python, PyTorch
• опыт разработки моделей аудио/видеогенерации
• глубокое понимание методов обучения/распределенного обучения
• понимание архитектур современных LLM и Diffusion-моделей
• опыт работы с диффузионными моделями
Будет большим плюсом:
• опыт в классических задачах аудио/видео обработки. Цифровая обработка сигналов/компрессия/шумоподавление
Условия
Что мы предлагаем:
• комфортный современный офис рядом с м. Кутузовская
• гибридный формат работы
• ежегодный пересмотр зарплаты, квартальная и годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• программу адаптации и помощь руководителя на старте
• расширенный ДМС, льготное страхование для семьи и корпоративную пенсионную программу
• ипотеку выгоднее до 7% для каждого сотрудника
• бесплатную подписку СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.
