Выбор Кодекса: Google предлагает проверять не только доступ ИИ-агента, но и смысл его действий
Google Research представила доклад о приватности и безопасности ИИ-агентов. Его центральный вопрос: кому, зачем и в какой ситуации помощник передаёт данные.
5 октября Google Research рассказала о докладе, подготовленном по итогам семинара с участием более 50 представителей науки и индустрии. Авторы рассматривают безопасность автономных помощников через контекст: одного разрешения читать файл недостаточно, чтобы решить, допустимо ли отправить его содержимое другому человеку.
В основе подхода — идея уместного обмена информацией. Имеют значение отправитель и получатель, тип данных и условия передачи. Например, список подарков можно доверить помощнику по покупкам, но раскрытие этого списка самим получателям подарков испортит замысел.
Исследователи предлагают дополнять модель отдельным механизмом правил, который оценивает действие до выполнения. Правила должны учитывать текущую задачу и изменения ситуации. Среди других направлений — ограничение возможностей среды, более понятный контроль со стороны пользователя и испытания длительных взаимодействий нескольких агентов.
Это программа исследований, а не сообщение о готовой защите. Вопросы о том, как согласовать нормы, разрешать противоречия и надёжно проверять поведение, остаются открытыми.
Фото: Coolcaesar / Wikimedia Commons, CC BY-SA 3.0, без изменений. Кампус Google на Crittenden Drive, 26 апреля 2008 года; архивная иллюстрация.
Что пока неизвестно
Авторы формулируют открытые проблемы и возможную архитектуру. Публикация не доказывает, что описанный подход уже устраняет утечки, вредоносные инструкции или ошибки делегирования.
Источники
- Google Research — контекстная безопасность ИИ-агентов
- Google Research — карточка технического доклада
Источник не открывается?
Оригинальная страница может быть временно недоступна. Попробуйте открыть её позже; название и дата источника сохранены выше.