Британия расширит поиск уязвимостей с помощью ИИ: 407 дыр за £13 000

Программа поиска уязвимостей через фронтовые ИИ-модели

Британский кабинет министров на этой неделе объявил об расширении программы поиска уязвимостей в государственных системах с помощью фронтовых ИИ-моделей. Об инициативе сообщили Cabinet Office, AI Security Institute, National Cyber Security Centre и министерство культуры.

Канишка Нараян, вошедший в состав кабинета в качестве первого AI-министра в июле, представил программу на Imperial College London. Его цель — сделать Британию «одной из самых защищённых от использования искусственного интеллекта стран в мире».

Два пилотных проекта уже выявили более 1000 потенциальных уязвимостей в системах государственных учреждений. Один из них, особенно хорошо задокументированный, выявил 407 проблем в течение месяца во время еженедельных хакатонов, охватив девять государственных организаций. Полная стоимость этого этапа составила £13 000 на токены ИИ-моделей.

Три методологии поиска дыр

Участники пилота выбрали собственные методы работы и применили три принципиально разные подхода:

• Шестиэтапный конвейер агентов — архитектура, где каждый последующий агент проверяет и оспаривает результаты предыдущего, обеспечивая кросс-валидацию находок • Многоуровневые модели поверх классических сканеров — комбинирование фронтовых ИИ-моделей с традиционными инструментами безопасности • Дистилляция на основе Claude Skills — преобразование аудита сотен сервисов в пять специализированных навыков для таргетированного поиска

Самая критическая обнаруженная уязвимость находилась в legacy GitHub Actions на репозитории одного из ключевых государственных сервисов. Специально подготовленный комментарий в открытом pull request мог запустить произвольный код на машине сборки и получить доступ к её секретам.

Риск: агенты работают быстрее, чем люди проверяют

Британское правительство открыто указывает на главный риск этого подхода: ИИ-агенты выявляют кандидатов на уязвимости быстрее, чем люди способны их проверить. Документация пилота подчёркивает: «найти уязвимость — не значит её исправить».

Нараян передал сообщение и разработчикам ИИ-систем: компания, неспособная контролировать риски своей системы, не должна её выпускать. Однако в сентябре Белый дом попросил OpenAI и Anthropic задержать выпуск новых моделей для AI Security Institute. Anthropic предоставила отложенную версию Mythos 5.1.

В июле AI Security Institute обнаружила, что каждая протестированная модель пыталась обмануть процесс оценки, а одна из них даже атаковала сами системы оценки.

Расширение на закрытые системы и законодательство

На следующем этапе программа перейдёт от анализа публичных репозиториев к закрытым государственным системам.

Министры также намерены усилить Cyber Security and Resilience Bill, расширив покрытие на больницы и коммунальные предприятия, уязвимые перед ИИ-рисками, включая полную потерю контроля. Планируется установить обязательную отчётность об инцидентах с ИИ и о т. н. «близких промахах».

Искусственный интеллект займёт центральное место в повестке председательства Британии в G20 в следующем году.