Искусственный интеллект Claude мог использоваться для создания биологического оружия — об этом сообщила сама Anthropic
iXBT.com ·
Anthropic сообщила о пяти случаях использования Claude в биологических исследованиях, результаты которых потенциально могли быть применены для разработки биологического оружия. Инциденты выявили с декабря 2025 года по август 2026 года. Компания не смогла установить злонамеренные намерения исследователей, однако заблокировала их активность из-за потенциальных рисков.
Anthropic сообщила о пяти случаях использования Claude в биологических исследованиях, результаты которых потенциально могли быть применены для разработки биологического оружия. Инциденты выявили с декабря 2025 года по август 2026 года. Компания не смогла установить злонамеренные намерения исследователей, однако заблокировала их активность из-за потенциальных рисков.
Основная проблема связана с двойным назначением биологических исследований. Одни и те же знания могут использоваться для разработки лекарств и изучения заболеваний или, наоборот, для создания более опасных патогенов. Поэтому по отдельному запросу часто невозможно определить, с какой именно целью пользователь проводит исследование.
В одном из случаев исследователи работали с вирусом чикунгунья, который переносится комарами. Защитная система Claude заблокировала запрос, связанный с подготовкой заявки на финансирование исследования по усилению функций вируса. Вопросы у Anthropic вызвало то, что связанные с запросом работы предназначались для военного исследовательского учреждения.
После отказа Claude исследователи продолжили работу через другие каналы. Anthropic также обнаружила посредническую платформу, перенаправлявшую отклоненные биологические запросы к ИИ-моделям с менее строгими механизмами безопасности.
Другой случай касался высокопатогенного птичьего гриппа. По данным Anthropic, исследователь несколько недель использовал Claude для планирования экспериментов, анализа данных и научной интерпретации результатов. Защитные механизмы не позволили применять наиболее мощные модели компании для чувствительных задач, поэтому исследование продолжилось с менее мощными версиями ИИ.
Еще три случая были связаны с ортопоксвирусами, соединениями, имеющими отношение к ядам, и токсинами. Anthropic не раскрывает личности и местонахождение исследователей, а также конкретные технические детали их работы.
В компании считают, что по мере развития ИИ проблема будет становиться серьезнее. Предыдущие поколения Claude имели более ограниченные возможности в сложных биологических исследованиях, новые модели способны значительно эффективнее помогать с научным анализом. Это делает их полезнее для исследователей, но одновременно повышает потенциальный ущерб от злоупотреблений.
Anthropic заблокировала связанные с выявленной активностью учетные записи, передала информацию властям и другим разработчикам ИИ и усилила ограничения для биологических запросов высокого риска.
В том же отчете компания рассказала о злоупотреблении Claude в кибероперациях. Anthropic связала одну из обнаруженных кампаний с группировкой Midnight Blizzard, которую относят к связанным с российским хакерам. По данным компании, ИИ применялся для автоматизации фишинга, подготовки инфраструктуры, разработки вредоносного ПО и кражи данных. В кампании фигурировали более 20 организаций, включая государственные, дипломатические и оборонные структуры Украины и европейских стран.
Отчет Anthropic показывает, что для защиты ИИ от опасного использования недостаточно просто блокировать отдельные запросы. Пользователь может замаскировать конечную цель под обычную научную работу, разделить задачу на несколько частей или перенести ее между разными моделями и сервисами.