Runtime-контроль ИИ-агентов: единица контроля не модель, а действие
Habr ·
Пока рынок спорил, достаточно ли «умного» фильтра на промпт, агенты уже начали вызывать инструменты, ходить в MCP, трогать платёжные API и уносить ключи с рабочих станций. Для нас это был момент, когда защита модели перестала быть достаточным контуром. Промпт можно инспектировать, но действие нужно останавливать до исполнения. В этой статье опишем рабочую модель runtime-контроля, расскажем как устроен контур, который видит эксплуатация: где перехватывается вызов, как компилируется политика, какой вердикт выносится до исполнения действия и почему «нашли всех агентов» ещё не равно «контролируем агентов» . За агентом всегда есть контур сущностей: скиллы и расширения, MCP-серверы и их инструменты, модели, машины и эндпоинты, сессии, инструменты вызова (tool-call), обращения в сеть, граф межагентного взаимодействия. Если сотрудник с ноутбука вышел за контролируемый перечень ИИ-моделей и сходил во внешнюю LLM – это тоже событие контура, которое попадает в блок «теневого» ИИ (Shadow AI). Чтобы это было контролируемо – нужно понимать, что происходит на рабочей станции сотрудника. Без агента на хосте остаётся только то, что проходит через шлюз. Читать далее
Пока рынок спорил, достаточно ли «умного» фильтра на промпт, агенты уже начали вызывать инструменты, ходить в MCP, трогать платёжные API и уносить ключи с рабочих станций. Для нас это был момент, когда защита модели перестала быть достаточным контуром. Промпт можно инспектировать, но действие нужно останавливать до исполнения. В этой статье опишем рабочую модель runtime-контроля, расскажем как устроен контур, который видит эксплуатация: где перехватывается вызов, как компилируется политика, какой вердикт выносится до исполнения действия и почему «нашли всех агентов» ещё не равно «контролируем агентов» . За агентом всегда есть контур сущностей: скиллы и расширения, MCP-серверы и их инструменты, модели, машины и эндпоинты, сессии, инструменты вызова (tool-call), обращения в сеть, граф межагентного взаимодействия. Если сотрудник с ноутбука вышел за контролируемый перечень ИИ-моделей и сходил во внешнюю LLM – это тоже событие контура, которое попадает в блок «теневого» ИИ (Shadow AI). Чтобы это было контролируемо – нужно понимать, что происходит на рабочей станции сотрудника. Без агента на хосте остаётся только то, что проходит через шлюз. Читать далее