Выбор Кодекса: сделать ИИ дешевле иногда важнее, чем сделать его больше
Яндекс рассказал, как команда исследовательского агента Алисы AI снизила стоимость запроса в 6,6 раза за три месяца. Главные изменения касались организации работы агента.
Команда режима «Исследовать» в Алисе AI описала свой опыт в корпоративном блоге на Хабре. По её данным, стоимость одного запроса удалось уменьшить в 6,6 раза за три месяца.
Разработчики передали обработку поисковых сниппетов отдельному классификатору, сократили ненужные обращения к инструментам и поручили составление плана более лёгкой модели. Длинные исследования получили контрольные точки: после сбоя агент может продолжить работу с сохранённого шага.
Это полезный инженерный пример: результат системы зависит не только от возможностей большой модели, но и от того, когда её вызывают, какую информацию ей дают и как восстанавливают работу после ошибок.
Что пока неизвестно
Число 6,6 приведено самой командой Яндекса. Это результат конкретного сервиса, а не независимый тест и не обещание такого же выигрыша для любого ИИ-агента.
Источники
Источник не открывается?
Оригинальная страница может быть временно недоступна. Попробуйте открыть её позже; название и дата источника сохранены выше.