Tsinghua представил SRHarness и MechBench: ИИ-агенты ищут формулы и механизмы

Две работы одной лаборатории Цинхуа нацелены на узкое место научных ИИ-агентов: они умеют генерировать правдоподобные гипотезы, но плохо доказывают, что формула действительно следует из данных. Как сообщает Jiqizhixin, Лаборатория науки о данных и интеллекта при электронном факультете Университета Цинхуа представила runtime-фреймворк SRHarness для агентной символьной регрессии и бенчмарк MechBench для оценки способности находить механизмы явлений.

Что именно предложили

Символьная регрессия решает задачу, которая звучит просто: по таблице наблюдений восстановить аналитическое выражение, а не подогнать черный ящик. Выражение можно прочитать, проверить на размерности и подставить в следующий расчет. Классические методы строятся на генетическом программировании и переборе. Агентный подход заменяет перебор циклом, в котором языковая модель предлагает форму, запускает код, смотрит на ошибку и правит гипотезу.

SRHarness, судя по описанию, работает на уровне исполнения, то есть вокруг самого агента. Он задает, как агент обращается с данными, проверяет кандидатов и принимает решения. Цель сформулирована прямо: сделать открытие формул более надежным. Проблема знакома всем, кто запускал агентов на длинных задачах: без жесткой обвязки они переобучаются на шуме, забывают прошлые попытки и выдают красивое уравнение, которое разваливается за пределами обучающей выборки.

MechBench решает смежную задачу. Найти формулу, которая хорошо описывает данные, и понять, почему система ведет себя именно так, — разные вещи. Бенчмарк механизмов проверяет второе: способен ли агент выйти от кривой к причинной структуре процесса.

Почему это сложнее, чем кажется

У символьной регрессии есть две классические ловушки. Первая — множественность решений: десятки выражений с разной структурой дают почти одинаковую ошибку на имеющихся точках. Вторая — шум и ограниченность наблюдений, особенно в физике, химии и биологии, где эксперименты дороги. Агент на основе LLM добавляет третью: он склонен подбирать формулу, похожую на знакомую из обучающих данных, даже когда реальная зависимость другая.

Отдельный бенчмарк механизмов важен по той же причине. Метрики вроде ошибки аппроксимации хорошо измеряют подгонку и плохо измеряют понимание. Если оценка не требует восстановить механизм, агент может побеждать, запоминая типовые законы.

Что известно на данный момент

• Авторы: лаборатория науки о данных и интеллекта, электронный факультет Университета Цинхуа.
• SRHarness: runtime-фреймворк для агентной символьной регрессии, цель — надежный вывод формул из наблюдательных данных.
• MechBench: бенчмарк для оценки механизма, а не только формулы.
• Направление: AI for Science (AI4S), научные ИИ-агенты.
• Публикация: сообщение Jiqizhixin от 14 октября 2026 года, в тексте ссылки на две отдельные работы.
• Количественные метрики, число задач и базовые методы для сравнения в источнике не приведены.

Как читать такие релизы

Пока нет полных текстов, разумно держать в голове несколько вопросов. Какие базовые методы взяты для сравнения: классические вроде генетических алгоритмов или другие агентные конструкции на тех же LLM? Отделяет ли бенчмарк запоминание известных законов от настоящего открытия, например через синтетические или измененные системы? Какой вычислительный бюджет тратит агент на задачу и как растет качество с числом итераций?

Для команд, которые строят собственных научных агентов, практический вывод в другом. Надежность определяется не только моделью, но и обвязкой: логированием гипотез, валидацией на отложенных данных, ограничениями на сложность выражений. Если SRHarness и MechBench выйдут с открытым кодом и данными, их можно будет использовать как тестовую площадку для таких решений. Следить стоит за препринтом и репозиторием: именно там появятся цифры, по которым можно судить, насколько заявленная надежность подтверждается.