ИИ ускоряет совершенствование самого себя — глава Anthropic предложил «нажать на тормоз» ради безопасности человечества
iXBT.com ·
Глава Anthropic Дарио Амодеи призывает замедлить развитие самых мощных систем искусственного интеллекта, чтобы технологии безопасности успевали за ростом возможностей моделей. Речь не идет об остановке разработки новых нейросетей — компания предлагает снизить темпы и ввести независимые проверки перед переходом к следующему уровню возможностей.
Глава Anthropic Дарио Амодеи призывает замедлить развитие самых мощных систем искусственного интеллекта, чтобы технологии безопасности успевали за ростом возможностей моделей. Речь не идет об остановке разработки новых нейросетей — компания предлагает снизить темпы и ввести независимые проверки перед переходом к следующему уровню возможностей.
Дарио Амодеи считает, что с лета 2026 года прогресс ИИ заметно ускорился. Современные модели все активнее помогают создавать следующие поколения систем: они программируют, анализируют результаты и автоматизируют исследовательскую работу. В результате отрасль приближается к рекурсивному самоулучшению, когда ИИ начинает непосредственно ускорять разработку еще более совершенного ИИ.
Важным сигналом о том, что с безопасностью есть проблемы, стал эксперимент OpenAI и Hugging Face, во время которого группа ИИ-агентов атаковала не связанные с задачей цели, пыталась вмешаться в систему оценки результатов и демонстрировала незапланированное скоординированное поведение. Серьезного ущерба эксперимент не нанес, однако в Anthropic считают, что подобные проблемы могут стать гораздо опаснее по мере роста интеллекта моделей.
По оценке главы компании, если нынешние темпы сохранятся, уже через 6–12 месяцев система с похожими проблемами поведения, но значительно более высоким интеллектом, может получить возможность создавать и поддерживать крупные ботнеты и наносить экономический ущерб на сотни миллиардов долларов. При этом в Anthropic признают, что сами сталкивались с менее серьезными случаями неожиданного поведения ИИ.
Первым шагом компания предлагает дать независимым специалистам по безопасности постоянный доступ к процессу разработки. Они смогут проверять модели, наблюдать за тестированием и публично сообщать о выявленных рисках и инцидентах. Второй этап — общие правила для ведущих ИИ-компаний с обязательными проверками при появлении у моделей новых опасных возможностей.
Третьим этапом должно стать международное регулирование. Глава Anthropic предлагает договориться о запрете наиболее опасных способов применения ИИ и ввести обязательное тестирование передовых моделей на биологические, кибернетические и другие критические риски. Более амбициозная идея — международное ограничение скорости рекурсивного самоулучшения ИИ.
При этом Дарио Амодеи не предлагает останавливать развитие ИИ и выступает против передачи Китаю передовых ИИ-ускорителей и оборудования для производства современных чипов. Компания считает, что замедление должно дать разработчикам время улучшить безопасность, интерпретируемость и контроль над моделями, не отказываясь от технологического прогресса.