Nvidia представила новый проект под названием PPISP, направленный на повышение уровня детализации в рендеренных сценах gsplat. Этот подход отделяет эффекты съёмки, зависящие от камеры, от базового представления сцены, чтобы получать более реалистичные новые ракурсы.

Метод

Конвейер PPISP обучает отдельную модель, предназначенную для синтеза новых точек обзора из фотографий при условии параметров камеры, извлекаемых из EXIF. Выделяя влияние экспозиции и баланса белого, система отделяет геометрию сцены и параметры внешнего вида от артефактов изображения.

В результате модель может предсказывать, как сцена будет выглядеть при различных настройках съёмки, не смешивая эффекты сенсора и объектива с реальной детализацией и текстурой сцены.

Интеграция и развертывание

Разработчики сообщают, что PPISP уже интегрирован в рендерер gsplat и будет добавлен в 3DGRUT в одном из следующих обновлений. Интеграция позволяет существующим рабочим процессам использовать новый механизм кондиционирования без изменения основных представлений сцены.

Технические особенности

• PPISP использует условирование на основе метаданных камеры, таких как экспозиция и баланс белого, чтобы отделять эффекты съёмки от содержимого сцены.
• Архитектура обучает независимую сеть для синтеза видов, снижая взаимосвязанность между артефактами сенсора и точностью геометрии.
• Начальные цели интеграции сосредоточены на улучшении фотореализма в отрендеренных точечных представлениях на основе splat и в многовидовом композитинге.

Перспективы

Отделяя вариации, вызванные камерой, от реконструкции сцены, PPISP стремится создавать более последовательные и реалистичные новые ракурсы при различных условиях съёмки. Это изменение обещает более высокую точность в последующих задачах рендеринга и композитинга без изменения существующих форматов наборов данных.