Microsoft описала синтетические офисы для проверки Copilot
Симулированные компании включают сотрудников, письма, встречи и документы; Microsoft говорит, что они позволяют тестировать ассистента, не используя данные клиентов.
Microsoft Research опубликовала описание Industry Evaluation Data Generation Platform — системы для создания искусственных рабочих пространств. В них моделируются оргструктуры, почта, встречи, документы и рабочие процессы. Для реалистичности команда использует открытые данные базы профессий O*NET, вакансии и отчетность SEC.
Описаны среды для фармацевтической отрасли, рынков капитала и IT-компаний. Отдельные конвейеры автоматически составляют вопросы и проверяют качество данных: структуру организации, правдоподобность сценариев и безопасность содержимого. Компания сообщает о росте внутренней метрики качества на 39% относительно ранней версии и об оценке экономии примерно 300 тысяч долларов на проекте. Эти показатели рассчитаны самой Microsoft и не являются независимой оценкой.
По сообщению компании, наборы опубликованы во внутреннем каталоге Microsoft как единая база для оценки Copilot. Описание показывает инфраструктуру тестирования, но не приводит независимой проверки того, насколько синтетические данные предсказывают поведение ассистента на реальных данных.
Что пока неизвестно
Microsoft Research описывает внутреннюю систему компании. Метрики качества и экономии — собственные оценки Microsoft; результаты не подтверждены независимым аудитом и не доказывают точность Copilot в реальных организациях.
Источники
Источник не открывается?
Оригинальная страница может быть временно недоступна. Попробуйте открыть её позже; название и дата источника сохранены выше.