Новость · США
Google представил новый подход к обучению LLMs: фреймворк сна
Фреймворк сна позволяет LLMs улучшать свои знания и способности к сложному мышлению, минимизируя потерю старых знаний.
В новой методологии, введённой Google, LLMs переносят краткосрочные знания в долгосрочную память во время фазы сна, что помогает им адаптироваться к новым данным без потери старых знаний.
Это достигается через механизм параметров расширения и иерархии памяти, который позволяет моделям сохранять свои основные компоненты и дизайн.
Что пока неизвестно
Исследование находится на ранней стадии и требует дальнейшего тестирования и внедрения.
Источники
Источник не открывается?
Оригинальная страница может быть временно недоступна. Попробуйте открыть её позже; название и дата источника сохранены выше.