Claude Mythos якобы нашла уязвимость, но она уже была в обучающих данных

Anthropic наделала шума в прессе, объявив, что её последняя модель Claude Mythos обнаружила и использовала «первый удалённый эксплойт ядра, открытый и применённый ИИ». Броское заявление, которое быстро облетело новостные ленты. Но когда исследователи стали разбираться в деталях, они обнаружили неудачку: модель просто припомнила уязвимость из своих обучающих данных. Это был баг 20-летней давности, который уже давно был известен специалистам.

Что объявила

Anthropic На фоне растущего интереса к способностям продвинутых языковых моделей в области кибербезопасности Anthropic заявила, что во время тестирования Claude Mythos модель самостоятельно идентифицировала CVE (Common Vulnerabilities and Exposures) — уязвимость в ядре системы, которую теоретически можно использовать для удалённого выполнения кода. По версии компании, это был впечатляющий пример того, как передовой AI может находить реальные угрозы, которые люди могут упустить. История звучала как настоящий прорыв в автоматизации кибербезопасности и вызвала волну обсуждений о том, когда ИИ начнёт самостоятельно находить уязвимости.

Что обнаружили исследователи при проверке

Группа исследователей, проанализировавших описание этого события, выяснила неудобную истину. Подозреваемый баг — это давно известная уязвимость, которая уже находилась в открытом доступе и скорее всего была включена в обучающие данные Mythos. Другими словами, модель не совершила никакого независимого открытия — она просто припомнила информацию, которую видела на этапе обучения.

Это все равно что похвалиться, что ученик самостоятельно открыл Пифагорову теорему, когда он просто воспроизвел формулу из учебника. История поднимает несколько критических вопросов: Граница между мемуаризацией и открытием — как отличить то, что модель запомнила, от того, что она действительно открыла независимо? Отсутствие независимой проверки — как убедиться, что громкие заявления о достижениях AI не переоценены?

* Недостаток прозрачности — почему компании не раскрывают полные детали методологии для независимой проверки?

Значение для индустрии

История иллюстрирует фундаментальную проблему: когда модель видела данные во время обучения, её повторное «открытие» этих данных — это просто припоминание, а не подлинное новое открытие. По мере того как AI становится инструментом для критических областей вроде безопасности, отрасль должна выработать более строгие стандарты оценки результатов. Громкие заявления без прозрачности методологии и независимой верификации только подрывают доверие к индустрии и создают нереалистичные ожидания о возможностях текущих моделей.