Remote Sensing Foundation Models: как адаптировать ИИ к спутниковым данным

Исследование, опубликованное на arXiv как обзорная глава, рассматривает применение foundation models к наблюдению Земли через спутники и авиационные датчики.

Что такое Remote Sensing Foundation Models

Remote Sensing Foundation Models (RSFM) — это большие модели, тренированные на архивах спутниковых и авиационных снимков. В отличие от традиционных моделей компьютерного зрения, которые учатся на фото кошек и лиц, RSFM видят планету: города, поля, леса, облака, океаны.

Пример: вы хотите предсказать урожай пшеницы в конкретном регионе. Вместо того, чтобы писать модель с нуля для одной этой задачи, вы берёте уже натренированный RSFM на спутниковых снимках, адаптируете его под вашу задачу — и модель начинает работать, потому что уже умеет читать спутниковые данные.

Почему универсальный foundation model не работает

Вот в чём проблема: спутниковые данные физически отличаются от обычных фотографий.

• Разные датчики, разные длины волн (инфракрасная, красная, синяя, короткий волновой диапазон)
• Атмосферные искажения: облака, дымка, аэрозоли меняют то, что видит спутник
• Низкая пространственная разрешение (10-100 метров на пиксель, не как в фото со смартфона)
• Ограничения по времени: спутник пролетает над местом раз в несколько дней, надо ловить момент
• Физика измерений: спектральное отражение подчиняется законам физики, не произвольным паттернам в обучающих данных

Нет одной универсальной модели, которая одинаково хорошо работала бы для всех задач наблюдения Земли. Бенчмарки противоречивы. Модель A лучше на предсказании сельского хозяйства, модель B лучше на классификации типов зданий. Это потому, что каждый RSFM пилился для своего набора данных, и перенос знаний требует доводки.

Примеры: когда адаптация критична

Предсказание вредоносных водорослей. Нейросеть учится предсказывать вспышки ядовитых водорослей в озёрах и морях. Просто спектральные характеристики недостаточно — нужно учитывать спектральную маску, которая говорит, где именно в изображении надо искать цветение. Это требует physics-informed маскирования: модель должна понимать не только паттерны, но и физику, почему водоросли там появляются.

Выбор станций мониторинга. Другая задача: где разместить новую метеостанцию для наблюдения окружающей среды? Модель с адаптацией, тренированная с reinforcement learning, умеет выбирать места, которые дают максимум информации о климате и состоянии природы.

Что дальше

Следующее поколение RSFM должно оцениваться не только по стандартным метрикам точности (accuracy, F1), но и по:

• Модально-специфичной адаптации: модель должна хорошо переноситься на новые типы датчиков и длины волн
• Физической правдоподобности: представления в нейросети должны соответствовать реальной физике спутниковых измерений, не просто паттернам в данных

Это означает, что в будущем RSFM будут строиться с учётом не только машинного обучения, но и домена — физики, астрономии, климатологии.

Что это значит

В сложных специализированных доменах (наблюдение Земли, медицина, научные симуляции) foundation models — не панацея. Просто большая модель, натренированная на миллиардах параметров, недостаточна. Нужна адаптация под физику задачи, под специфику данных, под реальные ограничения. Следующий шаг AI — это не просто больше параметров, а больше физического смысла.