Dusting the Phantom: умное распределение гауссиан для динамических сцен

Почему гауссианы теряют быстрые объекты

Dynamic 3D Gaussian Splatting стал настоящим прорывом для создания высокофидельного объёмного видео в реальном времени. Но технология буксует на типичной сцене: когда объект движется быстро и маленький одновременно, он просто исчезает из видео. Тонкие текстуры в областях с интенсивным движением теряются без возможности восстановления. И вот парадокс: увеличение времени тренировки или добавление большего количества гауссиан так и не решают проблему.

Команда из KAIST и других корейских университетов (Minhyeok Roh, Minseo Lee, Jun Young Jeong, Byeonghyeon Lee, Lucas Yunkyu Lee, Jaesik Park, Eunbyung Park) выдвинула радикальную гипотезу: бутылочное горлышко не в ёмкости представления, а в стратегии распределения примитивов. Существующие методы размещают гауссианы исходя из их текущих позиций и игнорируют, куда им нужно переместиться в пространстве-времени.

Решение: два дополнительных метода

Seed Injection — умная посадка новых гауссиан

Метод определяет недостаточно восстановленные динамические регионы, анализируя временные изменения внешнего вида объектов и ошибки реконструкции. Когда такой регион найден, алгоритм инициализирует новые гауссианы в геометрически правдоподобных 3D-позициях, определённых через многовидовые наблюдения. Критически важно: новые примитивы размещаются независимо от текущего положения существующих гауссиан, что позволяет им покрыть ранее потерянные области пространства.

Temporal Biased Relocation — переброска со временной поддержкой

Вторая стратегия берёт временные сигналы оптимизации и использует их для направления пространственно-временного размещения гауссиан, которые движутся между кадрами. Проще говоря: система учится, куда должны переместиться гауссианы, чтобы лучше захватить содержимое динамичных регионов. Оба метода работают при сохранении фиксированного бюджета гауссиан — никакого увеличения вычислительных затрат.

Что улучшилось

Экспериментальная оценка на нескольких датасетах динамических сцен показала значительное повышение качества реконструкции, особенно в областях с высокой динамикой. Исследователи добились восстановления маленьких быстро движущихся объектов и сохранения мелкозернистых деталей текстуры, которые раньше становились размытыми артефактами.

Вывод простой: для высокофидельного объёмного видео не всегда требуется просто добавлять больше вычислений. Иногда достаточно распределить ресурсы умнее. Работа опубликована 15 октября 2026 года; методы реализованы без изменения базового представления гауссиан, что делает их применимыми в существующих конвейерах синтеза видео.

Полные материалы, включая проектную страницу с визуализациями и исходный код, доступны по адресам: https://minhyeok2001.github.io/Dusting-the-Phantom/ и https://github.com/minhyeok2001/DtP