Команда Цинхуа выпустила OSWorld-Science: агентов проверяют в научном ПО

Команда Цинхуа представила OSWorld-Science. Это бенчмарк, который проверяет, может ли ИИ-агент не просто объяснить научную задачу, а выполнить её в профессиональной программе: от анализа спектров ядерного магнитного резонанса до обработки патологических изображений, статистических расчётов и физического моделирования. В доступном анонсе нет ни числа задач, ни результатов конкретных моделей. Поэтому главный вопрос, какой разрыв покажет таблица лидеров, пока остаётся открытым.

Где заканчиваются текстовые ответы

Современные языковые модели хорошо справляются с первой частью научной работы. Они объясняют метод, перечисляют шаги, пишут скрипт для анализа. Дальше начинается то, что в лабораториях занимает львиную долю времени: открыть нужную программу, загрузить данные, выставить параметры, пройти по меню, проверить промежуточный результат и получить итог, который можно вставить в статью.

Имен��о этот отрезок авторы OSWorld-Science и берут за предмет проверки. Задачи вроде обработки данных ЯМР или разметки гистологических снимков возникают в исследованиях ежедневно. Для их выполнения мало общей эрудиции. Нужно понимать предметную область и аккуратно работать с интерфейсом, где ошибка в одном параметре меняет весь результат.

Что известно о бенчмарке

• Разработчик: исследовательская команда Университета Цинхуа. - Формат: агент сам управляет научным ПО, а не описывает решение словами. - Области задач: ЯМР-анализ, обработка патологических изображений, статистика, физическая симуляция. - Требования к агенту: профильные знания плюс надёжное выполнение последовательности операций.

Контекст: от офисных задач к лабораторным

Название отсылает к OSWorld, бенчмарку 2024 года для агентов, работающих с компьютером. В нём было 369 задач в Ubuntu, Windows и macOS. Люди решали около 72% задач, лучшая модель на момент публикации — чуть больше 12%. С тех пор агенты заметно подтянулись, но общие офисные и браузерные сценарии остаются заметно проще научных.

У профессионального научного ПО несколько неудобных для агента свойств. Интерфейсы узкоспециальные, часто устаревшие и нестандартные. Обучающих примеров в открытом доступе мало. Главное, ошибки там тихие: программа не выдаёт сообщение об ошибке, она выдаёт правдоподобный, но неверный график или p-значение. Это наше прочтение задачи, а не цитата из анонса, но именно поэтому формулировка «результат, которому можно доверять» кажется центральной. Бенчмарк, который проверяет только факт завершения действий, здесь бесполезен. Важно, как проверяется итоговый файл или число.

Как с этим работать

Для лабораторий вывод приземлённый: агентам для научного ПО рано выдавать самостоятельность без контроля. Разумная схема на сегодня выглядит так: агент готовит и запускает рутинные расчёты, человек проверяет параметры и итог, а журнал действий сохраняется для воспроизводимости.

Для разработчиков агентов OSWorld-Science, вероятно, станет ещё одним жёстким тестом. Он показывает, насколько модель держит предметный контекст на длинной цепочке действий в реальном интерфейсе.

Прежде чем делать выводы, стоит дождаться статьи и репозитория и посмотреть на четыре вещи: как устроена автоматическая проверка результатов, сколько задач решаемо только через графический интерфейс, какой результат получили люди-эксперты и как ведут себя на нём ведущие коммерческие и открытые модели. Без этих данных заголовок остаётся обещанием, а не измерением.