AllenAI представила обновленный Olmo-core 3 для создания больших языковых моделей
Новый фреймворк Olmo-core 3 от AllenAI позволяет увеличить параметры больших языковых моделей до триллионов, сохраняя эффективность обучения.
AllenAI представила Olmo-core 3, обновленный фреймворк для создания больших языковых моделей.
Новая версия позволяет увеличить параметры до триллионов, сохраняя при этом эффективность обучения.
В основе Olmo-core 3 лежит усовершенствованная система обучения на основе mixture-of-experts (MoE), которая позволяет использовать больше параметров без необходимости активации всей модели.
Это открывает новые возможности для разработки более мощных и эффективных языковых моделей, что может существенно изменить область искусственного интеллекта и машинного обучения.
Что пока неизвестно
Детали конкретных преимуществ и ограничений новой версии не указаны в предоставленном источнике.
Источники
Источник не открывается?
Оригинальная страница может быть временно недоступна. Попробуйте открыть её позже; название и дата источника сохранены выше.