ИИ начали защищать от ИИ: новые системы следят за действиями автономных агентов
iXBT.com ·
На фоне атак с использованием автономных ИИ-агентов и опасений по поводу их поведения несколько компаний предлагают использовать для защиты те же технологии. Apollo Research разработала Watcher AI — систему наблюдения за работой ИИ-агента. Она проверяет, не выполняет ли агент вредоносные действия, не пытается ли украсть данные и не удаляет ли важную информацию без разрешения.
На фоне атак с использованием автономных ИИ-агентов и опасений по поводу их поведения несколько компаний предлагают использовать для защиты те же технологии. Apollo Research разработала Watcher AI — систему наблюдения за работой ИИ-агента. Она проверяет, не выполняет ли агент вредоносные действия, не пытается ли украсть данные и не удаляет ли важную информацию без разрешения.
Watcher работает в несколько этапов: в ходе мониторинга проверяются действия агента, а при подозрительном поведении передаются более мощной модели для детального анализа. После этого решение передаётся человеку, который должен одобрить или отклонить предложенное действие.
Другой подход развивает Goodfire: компания анализирует не только результаты работы, но и внутренние состояния модели во время её работы. После атаки на Hugging Face глава Goodfire заявил, что компания усиливает работу над интерпретацией действий ИИ-агентов, в том числе для задач кибербезопасности и биоинженерии. При этом сами цепочки рассуждений и их краткие сводки могут использоваться для дистилляционных атак, когда разработчик обучает свою модель на выводах другой системы, поэтому некоторые разработчики, напротив, намеренно делают такие сводки менее понятными.
При этом мониторинг остаётся не единственным вариантом. Для контроля автономных агентов допускается использовать подробные журналы их действий и анализировать логи традиционными средствами кибербезопасности без дополнительного слоя агентов.