Illinois собрал 12 151 открытую задачу и проверил, сможет ли ИИ их решить

Команда из Университета Иллинойса в Урбане-Шампейне выпустила OpenFrontiers: каталог из 12 151 открытой научной задачи и тест на 200 математических проблем. Тест отвечает на простой вопрос: умеет ли ИИ-агент заново открыть решение, которое науке только что стало известно? Задачи он видит в том виде, в каком их формулировали до решения. Ответ проверяет не человек, а программа-верификатор. Итог невесёлый для сторонников «ИИ уже двигает науку»: в режиме без интернета лучший результат составил 7 решённых задач из 40.

Карта нерешённого: что внутри каталога

До сих пор открытые проблемы были разбросаны по спискам конференций, страницам премий, блогам и разделам обзорных статей. У каждого источника свои правила: как формулировать, как помечать статус, под какой лицензией хранить. Авторы свели 71 источник в единую схему, 62 из них дали сами тексты задач. Ещё 4 751 запись остались в каталоге-указателе, только со ссылками.

Что в корпусе:

• 11 349 записей (93,4%) — математика. Дальше физика (339), информатика (285) и машинное обучение (70). • Больше всего задач в теории чисел (2 867) и в геометрии с топологией (2 371). • Крупнейшие источники: TheoremDB (3 909), списки Американского института математики (3 470), проект Formal Conjectures (459). • У 65,9% записей есть код по классификатору MSC 2020, принятому в математике. • Формулировка на Lean 4 есть лишь у 1 946 записей, то есть у 16%. Lean — язык, на котором доказательство записывают так, что компьютер проверяет каждый шаг.

Статус задач авторы не приукрашивают. У 46% записей он помечен как неопределённый: источник просто не сообщает, решена ли задача сегодня. Дубликаты не удаляли, чтобы не переписывать чужие формулировки.

Как устроен тест и почему «после даты отсечения» не спасает

OpenFrontiers-Bench состоит из двух частей. В Rediscovery-110 вошли 110 задач, которые были открытыми до 2026 года и затем получили найденное решение. Все свидетельства решений датированы позже 5 января 2026 года. В Open-90 вошли 90 задач, которые всё ещё не решены. Для 85 решённых задач есть проверенное доказательство на Lean или точный конечный сертификат, например контрпример, пересчитанный точной арифметикой.

У каждой из 200 задач формулировка на Lean 4 (версия 4.33.1, библиотека Mathlib). 93 формулировки взяты дословно из Formal Conjectures, 47 адаптированы, 60 написаны заново. Каждую формулировку проверяли двое: один сверял её с исходной постановкой, другой пытался сломать её смысл. Оба проверяющих — языковые модели, а не живые математики. Критичных замечаний не осталось, у 23 задач обе проверки дали лишь мелкие замечания.

При сборке обнаружилась неприятная деталь. В 55 из 110 решений ключевую математику авторы источников приписывают ИИ-системам. Если модель из той же «родословной» породила решение, говорить о повторном открытии нельзя. Поэтому одной даты отсечения мало: протокол исключает такие задачи для каждой модели отдельно. Главным режимом сделан closed-book, то есть работа без доступа к сети.

Что показали семь агентов

Агентов гоняли на HQ-50: это 50 отобранных по качеству задач, из них 40 решённых. Условия три: без интернета, с замороженной копией поиска и с живым вебом. Засчитывалось только доказательство на Lean, принятое двумя независимыми проверяющими программами в изолированной песочнице.

• Без интернета агенты решали от 0 до 7 из 40 задач. В основном это три задачи, которые люди решили короткой конструкцией. • С живым вебом лучший результат — 27 задач. Почти всегда агент сначала находил опубликованное решение. • Ни одну по-настоящему открытую задачу без найденного решения никто не закрыл. • Сильные агенты часто сдаются, не выработав бюджет времени, если задача слишком трудная.

Что из этого следует

Замеры вроде олимпиад и экзаменов с заранее известным ответом уже не отличают настоящее исследование от хорошего поиска. OpenFrontiers показывает, как отделить одно от другого: запретить сеть, задавать условие в довоенной формулировке и принимать только формально проверенный результат. Для лабораторий и инвесторов это полезный фильтр на громкие заявления об «ИИ-учёных». Для исследователей это готовая карта нерешённого и набор задач, где успех нельзя списать на утечку из обучающих данных.

Ограничения тоже есть. Тест почти целиком математический, а Lean-формулировки доступны для малой части корпуса. Проверку формулировок вели сами модели, хотя и в два независимых прохода. Данные и тест опубликованы на Hugging Face в коллекции FlippyDora/openfrontiers.