Выбор Кодекса: Astra Ultrafast ускоряет генерацию — но не всю задачу в восемь раз
NVIDIA рассказала, как GPU Blackwell помогают ускорять GPT-6 Astra Ultrafast. Компания заявляет до восьмикратного роста скорости генерации токенов относительно Standard.
1 октября NVIDIA описала работу GPT-6 Astra Ultrafast на ускорителях Blackwell. По сообщению компании, выигрыш связан с оптимизацией программного обеспечения, которое выполняет модель на GPU. OpenAI использует собственные модели, чтобы помогать совершенствовать этот программный слой.
Заявленное «до восьми раз» относится к генерации токенов — фрагментов ответа модели. Это не обещание завершать любую пользовательскую задачу за одну восьмую прежнего времени. Агенту по-прежнему приходится ждать выполнения инструментов, тестов и внешних запросов.
Для задач с многократным циклом «написать код — проверить — исправить» сокращение пауз между действиями может быть полезно. Но оценивать результат стоит по полному времени выполнения и качеству решения.
Документация OpenAI описывает Ultrafast как более дорогой режим обслуживания API и предупреждает: без постоянного соединения сетевые накладные расходы могут уменьшать выигрыш в задержке. На момент проверки для GPT-6 Astra указан общий доступ через API с невысокими лимитами запросов.
Фото: Javils00 / Wikimedia Commons, CC0 1.0, без изменений. Это тематическое изображение оборудования NVIDIA, не фотография серверов OpenAI.
Что пока неизвестно
Оценка «до восьми раз» заявлена поставщиками; независимого сравнительного теста мы не проводили. Фактический выигрыш зависит от задачи, длины ответа, инструментов и сети. Доступность и лимиты могут меняться.
Источники
Источник не открывается?
Оригинальная страница может быть временно недоступна. Попробуйте открыть её позже; название и дата источника сохранены выше.