Tadpole предлагает фундаментальную модель для физики: от прогноза к пониманию

Tadpole предлагает перенести логику foundation models из текста и изображений в физику. Вместо отдельной нейросети под каждую задачу авторы хотят получить одну предобученную модель для погоды, течений воздуха, деформации материалов и электромагнитных полей. Идея амбициозная. Поэтому разбираем сам подход и вопросы, которые к нему стоит задать.

Одна задача, одна модель

Классический scientific ML устроен просто и дорого. Нейросеть обучают на данных конкретной системы с определённым уравнением, геометрией, разрешением сетки и набором переменных. Сменился тип физики, изменился пространственный масштаб или добавилось несколько переменных, и модель приходится обучать заново. Обрывающийся фрагмент текста описывает именно это: при таких изменениях модель теряет применимость.

Для языковых моделей эту проблему решили предобучением на огромном корпусе с последующей адаптацией. Авторы Tadpole задают вопрос, можно ли сделать то же для физического мира. Погода, аэродинамика, механика твёрдого тела и электромагнетизм описываются разными уравнениями, но у них есть общие структуры: пространственные поля, локальные взаимодействия, законы сохранения.

От прогноза к пониманию

Заголовок материала противопоставляет «предсказание будущего» и «понимание мира». Большинство суррогатных моделей в науке учат делать одно: взять текущее состояние поля и выдать следующее. Качество измеряют ошибкой на горизонте прогноза. Такая модель может хорошо считать конкретный случай и ничего не «знать» о соседнем.

Судя по формулировке, Tadpole ставит другую цель: получить представление, которое улавливает закономерности, общие для разных систем, и переносится между ними. Направление не новое. Polymathic AI в 2023 году показала Multiple Physics Pretraining, группа из ETH Zürich выпустила Poseidon для уравнений в частных производных, а Microsoft обучила Aurora для атмосферы. Tadpole продолжает эту линию, но насколько далеко он продвинулся, по открытым данным оценить нельзя.

Что известно на сегодня

• Заявленная область: погода, движение воздуха, деформация материалов, электромагнитные явления
• Ключевая идея: единая предобученная модель вместо набора узких моделей
• Смена фокуса: с прогноза следующего состояния на обобщённое понимание физики
• Размер модели, данные, вычислительные затраты: в доступном тексте не раскрыты
• Метрики и сравнение с Fourier Neural Operator и другими базовыми решениями: в доступном тексте не приведены

Вопросы, которые стоит задать

Главный из них касается обобщения. Научная фундаментальная модель оправдывает себя, когда хорошо работает на физике, которой не было в обучении, или после недорогой дообучки. Если для каждой новой системы нужно столько же данных, как и раньше, выигрыша нет.

Второй вопрос про физическую согласованность. Модель, которая ошибается на пару процентов, но нарушает сохранение энергии или массы, опасна в инженерных расчётах. Третий вопрос про стоимость. Численные солверы медленные, но предсказуемые и проверенные десятилетиями. Нейросеть должна быть заметно быстрее при сопоставимой точности, иначе она не вытеснит их.

Как читать такие релизы

Для исследователей и инженеров, которые считают CFD, погоду или механику, практический порядок действий такой. Дождаться технического отчёта или статьи и найти там три вещи: тесты на не виденных при обучении системах, стоимость дообучения на новой задаче и сравнение с узкоспециализированными моделями на тех же данных. Если всё это опубликовано, а код или веса открыты, модель имеет смысл проверить на собственной задаче, прежде чем менять рабочий процесс. Пока таких данных нет, Tadpole остаётся интересной постановкой вопроса, а не готовым инструментом.