Яндекс исследует агентов, которые отвечают, продолжая рассуждать
Исследователи меняют работу памяти во время генерации, чтобы модели могли учитывать новые данные без полного перезапуска.
Yandex Research описала подход к интерактивным агентам через управление KV-кешем — промежуточной памятью вычислений модели. Вместо одного последовательного разговора система организует несколько потоков с разными представлениями общего состояния.
В подходе AsyncReasoning один поток продолжает рассуждение, а другой уже формирует ответ на основе доступных промежуточных результатов. Новые сообщения и результаты инструментов могут поступать асинхронно.
Авторы также рассматривают совместную работу экземпляров модели через общую память. Изменения происходят на этапе выполнения: дополнительное обучение весов для описанного принципа не требуется.
Что пока неизвестно
Это исследовательский подход, а не готовое обновление всех продуктов Яндекса. Сильные ускорения из отдельных экспериментов нельзя переносить на любые запросы.
Источники
Источник не открывается?
Оригинальная страница может быть временно недоступна. Попробуйте открыть её позже; название и дата источника сохранены выше.