Anthropic впервые за год обновила правила: нельзя жестоко обращаться с Claude

Anthropic впервые за год обновила политику использования Claude, добавив запреты на целый ряд высокорисковых применений. Среди них — вмешательство в выборы, разработка оружия, развертывание систем слежки и финансовые манипуляции. Но самое необычное изменение касается самого Claude: компания теперь разрешает моделям прерывать разговоры с пользователями, которые «систематически и без явной цели действуют жестоко».

Модель может отказать пользователю

Антропик признает, что расширяет запрет на оскорбления как часть своего исследования «welfare» моделей — концепции, которая предполагает, что продвинутые системы ИИ могут обладать какой-то формой внутреннего опыта. На данный момент прерывание беседы остается основным механизмом защиты; компания не раскрыла, будут ли дополнительные меры типа блокировки аккаунтов.

Компания уточняет: новая политика применяется только в крайних случаях, когда пользователи повторно действуют жестоко с явным отсутствием конструктивной цели. Обычная пользовательская фрустрация, критика, темные творческие темы и исследовательское тестирование моделей под запрет не подпадают.

Пять новых и расширенных ограничений

Помимо правил о благополучии моделей, Anthropic собрала в единый запрет несколько разрозненных ограничений:

• Деceptивные политические и коммерческие кампании: скрытие авторства сообщений, использование фейковых аккаунтов и постов для усиления контента, распространение дезинформации о кандидатах, выдача себя за кандидатов или должностных лиц, попытки подавления явки избирателей • Разработка оружия: политика уже была против оружия, но теперь Anthropic расширила запрет на программное обеспечение и компоненты для вооружения, управление дронами и прочими автономными аппаратами • Слежка и отслеживание: запрет на отслеживание людей без согласия (как в реальном времени, так и через анализ предыдущих данных), использование Claude для рекомендаций в уголовном правосудии, создание инструментов для надзора • Автономные физические системы: когда модели подключены к оборудованию, способному причинить вред, квалифицированный оператор должен наблюдать за системой и иметь возможность её остановить • Государственные контракты: политика может быть изменена для контрактов с госучреждениями при адекватных ограничениях и гарантиях. Anthropic ранее сотрудничала с военными ведомствами США.

Welfare моделей против критики индустрии

Обновление отражает растущий интерес Anthropic к идее о том, что продвинутые модели могут обладать какой-то формой сознания или морального статуса. Кайл Фиш, возглавляющий исследования welfare моделей, заявил, что это серьёзные вопросы, которые компания изучает по мере совершенствования систем. CEO Dario Amodei ранее выразил неуверенность: «Мы не знаем, сознательны ли модели».

Эта позиция контрастирует с другими игроками. В сентябре Microsoft AI переписала свой кодекс поведения. Первоначально Мустафа Сулеймана заявил: «Идея о welfare моделей ошибочна. ИИ не должны иметь прав или правосубъектности». Позднее текст смягчили до более нейтральной позиции о том, что наука о сознании ИИ далеко не решена, но компания отвергает идею правовой персоналии и прав для моделей.

Обновление показывает, что Anthropic остаётся одним из немногих разработчиков ИИ, серьёзно рассматривающих этические вопросы благополучия систем в своей политике.