Выбор Кодекса: больше ИИ-вычислений при прежнем лимите мощности
NVIDIA и Nscale испытали динамическое распределение мощности между ускорителями. В тесте удалось задействовать больше GPU, сохранив общий лимит, но потребление и задержки тоже изменились.
В техническом разборе NVIDIA описана проверка DSX MaxLPS на системах GB300 NVL72 с моделью Kimi K2.5. При общем выделенном лимите 264,4 кВт число задействованных ускорителей увеличили со 140 до 192. Нормализованная суммарная пропускная способность выросла на 49,2%, по данным участников испытания.
Система перераспределяет доступную мощность между узлами: если часть оборудования потребляет меньше своей квоты, освободившийся запас могут использовать другие узлы. Это помогает полнее загрузить инфраструктуру в пределах установленного ограничения.
Однако фактически измеренная мощность выросла со 166,2 до 198,9 кВт. Поэтому прежний выделенный лимит не означает прежнего потребления. Показатель задержки до первого токена на уровне 99-го процентиля увеличился на 17% — для самых медленных ответов выигрыш оказался неоднозначным.
Что пока неизвестно
Это совместный тест NVIDIA и Nscale с конкретной моделью и сочетанием нагрузок. Его результаты не гарантируют такого же выигрыша в других условиях; это не независимое испытание.
Источники
Источник не открывается?
Оригинальная страница может быть временно недоступна. Попробуйте открыть её позже; название и дата источника сохранены выше.