Дмитровское шоссе 9
О проекте
Строим и оптимизируем GPU inference-инфраструктуру для LLM-сервисов. Работаем с высокими нагрузками, multi-GPU кластерами и передовыми технологиями инференса. Ищем эксперта, который понимает, как выжать максимум из NVIDIA GPU и заставить LLM работать быстро и стабильно.
--------------------------------------------------------------------
Чем предстоит заниматься
• Эксплуатация и оптимизация SLURM-кластера для LLM-инференса
• Multi-GPU / multi-node inference — масштабирование и балансировка
• Настройка и тюнинг vLLM / SGLang / Mooncake
• Оптимизация throughput, latency и GPU utilization
• Работа с KV cache и оптимизация cache usage
• Диагностика bottleneck'ов между GPU, сетью и storage
• Балансировка inference-нагрузки
• Запуск и сопровождение LLM inference-сервисов в production
Обязательно
• NVIDIA GPU / CUDA — архитектура, драйверы, оптимизация
• SLURM — управление кластером и задачами
• Multi-GPU / multi-node workloads — опыт запуска
• RDMA / InfiniBand — высокоскоростные сети
• NCCL — коммуникации между GPU
• Inference-фреймворки — vLLM / SGLang / Mooncake
• Запуск LLM inference — production-опыт
• Оптимизация — throughput, latency, GPU utilization, KV cache
• Понимание bottleneck'ов — GPU ↔ сеть ↔ storage
Будет преимуществом
• Диагностика GPU — поиск и устранение проблем
• LLM inference benchmarking — замеры и сравнение
• High-load LLM inference — опыт работы с высокими нагрузками
• Мониторинг — Prometheus / Grafana
• Скрипты — Python / Bash для автоматизации
--------------------------------------------------------------------
Что мы предлагаем
• Работа с передовым стеком в AI/LLM-направлении
• Задачи уровня Enterprise-инфраструктуры
• Профессиональная команда и возможность роста
• Дополнительные преимущества: ДМС, Программа лояльности и т.д.
В сопроводительном укажите:
1. Ваш опыт с multi-GPU / multi-node inference
2. С какими LLM-фреймворками работали (vLLM, SGLang, Mooncake)
