Моделирование и рендеринг на основе изображений

This article includes a list of references, related reading, or external links, but its sources remain unclear because it lacks inline citations. Please help improve this article by introducing more precise citations. (April 2019) (Learn how and when to remove this message)

В компьютерной графике и машинном зрении методы моделирования и рендеринга на основе изображений ( IBBR ) используют набор двумерных изображений сцены для создания трехмерной модели и последующего рендеринга некоторых новых видов этой сцены.

Традиционный подход компьютерной графики использовался для создания геометрической модели в 3D и попытки перепроецировать ее на двумерное изображение. Компьютерное зрение, наоборот, в основном сосредоточено на обнаружении, группировке и извлечении особенностей (краев, граней и т. д. ), присутствующих на данном изображении, а затем на попытке интерпретировать их как трехмерные подсказки. Моделирование и рендеринг на основе изображений позволяют использовать несколько двумерных изображений для непосредственного создания новых двумерных изображений, пропуская этап ручного моделирования.

Вместо того чтобы рассматривать только физическую модель твердого тела, методы IBMR обычно больше фокусируются на моделировании света. Фундаментальной концепцией IBMR является функция пленоптического освещения , которая является параметризацией светового поля . Пленоптическая функция описывает световые лучи, содержащиеся в данном объеме. Она может быть представлена ​​семью измерениями: луч определяется своим положением , ориентацией , длиной волны и временем : . Методы IBMR пытаются аппроксимировать пленоптическую функцию для визуализации нового набора двумерных изображений из другого. Учитывая высокую размерность этой функции, практические методы накладывают ограничения на параметры, чтобы уменьшить это число (обычно до 2–4).${\displaystyle (x,y,z)}$${\displaystyle (\theta ,\phi )}$${\displaystyle (\lambda )}$${\displaystyle (t)}$${\displaystyle P(x,y,z,\theta ,\phi ,\lambda ,t)}$

• Морфинг просмотра создает переход между изображениями
• Панорамная съемка позволяет создавать панорамы с использованием мозаики отдельных неподвижных изображений.
• Lumigraph полагается на плотную выборку сцены
• Космическая резьба создает 3D-модель на основе проверки фотосоответствия

• Просмотреть синтез
• 3D реконструкция
• Структура из движения

• Куан, Лонг. Моделирование на основе изображений . Springer Science & Business Media, 2010. [1]
• Ce Zhu; Shuai Li (2016). «Синтез вида на основе глубинного изображения: новые идеи и перспективы создания и заполнения отверстий». IEEE Transactions on Broadcasting . 62 (1): 82– 93. doi :10.1109/TBC.2015.2475697. S2CID  19100077.
• Манси Шарма; Сантану Чаудхури; Бреджеш Лалл; М.С. Венкатеш (2014). «Гибкая архитектура для многовидового 3DTV на основе некалиброванных камер». Журнал визуальной коммуникации и представления изображений . 25 (4): 599– 621. doi :10.1016/j.jvcir.2013.07.012.
• Манси Шарма; Сантану Чаудхури; Бреджеш Лалл (2014). Kinect-Variety Fusion: новый гибридный подход к генерации контента 3DTV без артефактов . На 22-й Международной конференции по распознаванию образов (ICPR), Стокгольм, 2014. doi :10.1109/ICPR.2014.395.
• Манси Шарма; Сантану Чаудхури; Бреджеш Лалл (2012). Генерация 3DTV-вида с виртуальными функциями панорамирования/наклона/масштабирования. Труды Восьмой индийской конференции по компьютерному зрению, графике и обработке изображений, ACM Нью-Йорк, штат Нью-Йорк, США. doi :10.1145/2425333.2425374.