Anthropic: малые ИИ-модели к началу 2027 года сделают возможными самовоспроизводящихся червей

Anthropic предупредила, что развитие небольших ИИ-моделей уже к началу следующего года может создать условия для практически бесконтрольного распространения ИИ-червей. Так называют программы, которые самостоятельно размножаются и переходят на новые устройства без вмешательства человека. По оценке компании, остановить такое распространение будет чрезвычайно сложно. Среди потенциальных целей названы серверы, телевизоры и бытовая техника. Горизонт, о котором идёт речь, измеряется месяцами, а не годами.

Почему тревогу вызывают именно малые модели

Классический червь использует заранее известную уязвимость. Его автор должен заранее знать, что именно ломать, и под каждую новую платформу писать новый код. ИИ-червь, если следовать логике предупреждения Anthropic, получает возможность адаптироваться на месте: изучить незнакомое устройство, подобрать способ проникновения и двинуться дальше.

Крупные модели для такой задачи неудобны. Им нужны мощные GPU, большой объём памяти и, как правило, обращение к облачному API, которое провайдер может отследить и перекрыть. Компактная модель устроена иначе. Она помещается на скромное железо, работает локально и не оставляет следов в чужой инфраструктуре. Именно поэтому прогресс в миниатюризации моделей оказывается и технологическим достижением, и фактором риска одновременно.

Что известно и чего пока нет

В публичном пересказе предупреждения подробностей немного. Ниже то, что можно утверждать на основании доступных данных:

• Автор предупреждения: Anthropic, разработчик семейства моделей Claude.
• Срок: условия для массового распространения могут сложиться к началу следующего года.
• Механизм: автономное размножение и заражение новых типов устройств без участия человека.
• Потенциальные цели: серверы, телевизоры, бытовая техника.
• Оценка защиты: блокировать распространение будет чрезвычайно сложно.
• Не раскрыто: конкретные модели, размеры параметров, методика оценки и вероятности сценария.

Пока неизвестно, опирается ли прогноз на лабораторные эксперименты, на анализ угроз или на моделирование. Без технического отчёта отличить реальную оценку риска от осторожной перестраховки трудно.

Это уже случалось, только в других масштабах

Идея не нова. В 1988 году червь Морриса вывел из строя порядка шести тысяч машин в ещё совсем небольшом интернете и показал, как быстро самораспространяющийся код выходит из-под контроля. В 2024 году исследователи Cornell Tech продемонстрировали Morris II: червь для генеративных ИИ-экосистем, который в лабораторных условиях распространялся через почтовых ассистентов на базе языковых моделей с помощью самовоспроизводящихся промптов. Это был эксперимент в контролируемой среде, но принцип он подтвердил.

Отдельная проблема в том, что парк подключённых устройств с тех пор вырос на порядки. Телевизоры, холодильники и роутеры редко обновляются и почти никогда не мониторятся. Для червя, способного думать на месте, это удобная среда.

Что делать уже сейчас

Серверным администраторам и владельцам инфраструктуры стоит заняться базовой гигиеной, которая работает независимо от того, сбудется ли прогноз:

• Составить инвентаризацию всех подключённых устройств, включая «умную» технику в офисах.
• Вынести IoT в отдельные сегменты сети и запретить им доступ к внутренним серверам.
• Отключить неиспользуемые сервисы и удалённые интерфейсы, сменить заводские пароли.
• Включить мониторинг исходящего трафика: заражённое устройство выдаёт себя аномальными соединениями.
• Ограничить права ИИ-агентов: никакого исполнения кода и доступа к почте без подтверждения человеком.

Разработчикам ИИ-агентов полезно помнить уроки Morris II: любой текст, который агент читает, потенциально является командой. Остаётся дождаться технического отчёта Anthropic. От него зависит, станет ли предупреждение рабочей моделью угроз для индустрии или останется тезисом без доказательной базы.