Мы отвечаем за ML-инструменты и инфраструктуру всего Яндекса, а нашими сервисами пользуется большинство ML-разработчиков Яндекса. Это команды, которые обучают модели для Алисы, Нейро, Шедеврума.
Сейчас мы приступили к новой большой задаче: разработать эффективный и удобный фреймворк для работы с LLM, от гигантских претрейнов до дообучения моделей под конкретные продуктовые задачи. Мы ищем research-инженера, готового вместе с нами создавать этот фреймворк и находиться на фронтире индустрии. Яндекс — одно из немногих мест в мире, где у вас будет возможность поработать на таких масштабах!
Какие задачи вас ждут:
Вот какие вызовы в работе над фреймворком стоят перед нашей командой и будут стоять перед вами:
- Добиться state-of-the-art эффективности всех существующих методов параллельного обучения на 10k+ GPU
- Создать механизмы, которые автоматически дают высокую утилизацию для различных NLP-задач без необходимости сложного тюнинга. Например, с помощью ML for Systems
- Сделать фреймворк удобным и расширяемым как для опытных специалистов, так и для команд, которые хотят внедрить LLM в свои продукты
Мы ждем, что вы:
- Отлично владеете Python, знаете лучшие инженерные практики
- Работали с PyTorch (JAX или TensorFlow тоже подойдут)
- Понимаете, как устроены современные LLM и как решать типичные NLP-задачи
- Знаете про современные подходы параллелизма в обучении моделей или готовы быстро с этим разобраться
Будет плюсом, если вы:
- Интересуетесь или занимались ML/DL-исследованиями
- Понимаете, как устроены GPU и коммуникации между ними
- Умеете работать с большим количеством неизвестных
