Объемный захват

В этой статье есть несколько проблем. Помогите улучшить ее или обсудите эти проблемы на странице обсуждения . ( Узнайте, как и когда удалять эти сообщения ) Для проверки данной статьи необходимы дополнительные цитаты .Пожалуйста, помогите улучшить эту статью , добавив ссылки на надежные источники . Неподтвержденный материал может быть оспорен и удален. Найти источники:  "Volumetric capture" – новости  · газеты  · книги  · ученый  · JSTOR ( Декабрь 2018 )( Узнайте, как и когда удалить это сообщение ) Данная статья , возможно, содержит оригинальное исследование .Пожалуйста, улучшите его, проверив сделанные заявления и добавив встроенные цитаты . Заявления, состоящие только из оригинальных исследований, должны быть удалены. ( Апрель 2018 )( Узнайте, как и когда удалить это сообщение ) ( Узнайте, как и когда удалить это сообщение )

Объемный захват или объемное видео — это метод, который захватывает трехмерное пространство, например, местоположение или представление. ^[1] Этот тип объемной съемки получает данные, которые можно просматривать на плоских экранах, а также с помощью 3D-дисплеев и гарнитуры виртуальной реальности . Форматов, ориентированных на потребителя, много, и требуемые методы захвата движения опираются на компьютерную графику , фотограмметрию и другие методы, основанные на вычислениях. Зритель обычно воспринимает результат в движке в реальном времени и имеет прямой доступ к исследованию созданного объема.

Запись таланта без ограничений плоского экрана долгое время изображалась в научной фантастике . Голограммы и 3D-визуализация реального мира занимали видное место в «Звездных войнах» , «Бегущем по лезвию» и многих других научно-фантастических произведениях на протяжении многих лет. Благодаря растущим достижениям в области компьютерной графики, оптики и обработки данных эта фантастика медленно превращалась в реальность. Объемное видео является логическим следующим шагом после стереоскопических фильмов и 360°-видео, поскольку оно сочетает в себе визуальное качество фотографии с погружением и интерактивностью пространственного контента и может оказаться самым важным достижением в записи человеческой деятельности с момента создания современного кино.

Создание 3D-моделей из видео, фотографий и других способов измерения мира всегда было важной темой в компьютерной графике . Конечная цель — имитировать реальность в мельчайших деталях, предоставляя при этом творческим людям возможность строить миры на этой основе в соответствии со своим видением. Традиционно художники создают эти миры, используя методы моделирования и рендеринга, разработанные за десятилетия с момента рождения компьютерной графики. Визуальные эффекты в фильмах и видеоиграх проложили путь для достижений в фотограмметрии , сканирующих устройствах и вычислительном бэкэнде для обработки данных, полученных с помощью этих новых интенсивных методов. Как правило, эти достижения стали результатом создания более продвинутых визуальных эффектов для развлечений и медиа, но не были целью самой области.

Сканирование LIDAR описывает метод обследования, который использует плотно упакованные лазером точки для сканирования статических объектов в облако точек. Для этого требуются физические сканеры и производятся огромные объемы данных. В 2007 году группа Radiohead широко использовала его для создания музыкального клипа для "House of Cards", запечатлев выступления облака точек лица певца и выбранных сред в одном из первых применений этой технологии для объемного захвата. Режиссер Джеймс Фрост сотрудничал с медиа-художником Аароном Коблином для захвата 3D-облаков точек, используемых для этого музыкального клипа, и хотя конечный результат этой работы все еще представлял собой отрендеренное плоское представление данных, захват и мышление авторов уже опередили свое время. Облака точек , будучи отдельными образцами трехмерного пространства с положением и цветом, создают высокоточное представление реального мира с огромным объемом данных. Однако просмотр этих данных в реальном времени еще не был возможен.

В 2010 году Microsoft вывела на рынок Kinect — потребительский продукт, который использовал структурированный свет в инфракрасном спектре для создания 3D-сетки с помощью своей камеры. Хотя целью было облегчить и инновационно использовать пользовательский ввод и игровой процесс, его очень быстро адаптировали в качестве универсального устройства захвата для 3D-данных в сообществе объемного захвата. Проецируя известный рисунок на пространство и фиксируя искажение объектами на сцене, полученный захват затем можно вычислить для различных выходов. Художники и любители начали создавать инструменты и проекты вокруг доступного устройства, вызвав растущий интерес к объемному захвату как творческой среде.

Затем исследователи из Microsoft построили целую сцену захвата, используя несколько камер, устройств Kinect и алгоритмов, которые генерировали полный объемный захват из объединенной оптической и глубинной информации. Теперь это Microsoft Mixed Reality Capture Studio, которая сегодня используется как часть их исследовательского подразделения, так и в некоторых избранных коммерческих проектах, таких как Blade Runner 2049 VR. В настоящее время работают три студии: Redmond, WA; San Francisco, CA; и London, England. Хотя это остается очень интересной установкой для рынка высокого класса, доступная цена одного устройства Kinect побудила больше экспериментальных художников и независимых режиссеров стать активными в области объемного захвата. ^[2] Двумя результатами этой деятельности являются Depthkit и EF EVE™. EF EVE™ поддерживает неограниченное количество датчиков Azure Kinect на одном ПК, обеспечивая полный объемный захват с простой настройкой. Он также имеет автоматическую калибровку датчиков и функциональность VFX. Depthkit — это программный пакет, позволяющий захватывать геометрические данные с помощью одного структурированного датчика освещенности, включая Azure Kinect ^[3] , а также высококачественную цветную детализацию с подключенной камеры-свидетеля.

Фотограмметрия описывает процесс измерения данных на основе фотографического эталона. Несмотря на то, что она так же стара, как и сама фотография, только благодаря многолетним достижениям в исследованиях объемного захвата теперь стало возможным захватывать все больше и больше деталей геометрии и текстуры из большого количества входных изображений. Результат обычно разделяется на два составных источника: статическую геометрию и полный захват производительности. Для статической геометрии наборы, которые захватываются с большим количеством перекрывающихся цифровых изображений, затем выравниваются друг с другом с использованием схожих особенностей в изображениях и используются в качестве основы для триангуляции и оценки глубины. Эта информация интерпретируется как 3D- геометрия , что приводит к почти идеальной копии набора. Полный захват производительности, однако, использует массив видеокамер для захвата информации в реальном времени. Эти синхронизированные камеры затем используются покадрово для генерации набора точек или геометрии, которые можно воспроизводить на скорости, что приводит к полному объемному захвату производительности, который можно скомпоновать в любой среде. В 2008 году 4DViews ^[4] установила первую систему объемного видеозахвата в студии DigiCast в Токио (Япония). Позднее, в 2015 году, 8i внесла свой вклад в эту область, а недавно к ней присоединились Intel, Microsoft ^[5] и Samsung ^[6], создав собственные этапы захвата для захвата производительности и фотограмметрии.

По мере того как объемное видео превратилось в коммерчески применимый подход к захвату среды и производительности, возможность перемещать результаты с шестью степенями свободы и настоящей стереоскопией потребовала нового типа устройства отображения. С ростом потребительской виртуальной реальности в 2016 году с помощью таких устройств, как Oculus Rift и HTC Vive , это внезапно стало возможным. Стереоскопический просмотр и возможность вращать и двигать головой, а также перемещаться в небольшом пространстве позволяют погружаться в среду, намного превосходящую то, что было возможно в прошлом. Фотографическая природа захватов в сочетании с этим погружением и результирующей интерактивностью на один гигантский шаг приближает к тому, чтобы стать святым Граалем настоящей виртуальной реальности. С ростом видеоконтента 360° растет спрос на захват 6-DOF , и VR, в частности, стимулирует приложения для этой технологии, медленно объединяя кино, игры и искусство с областью исследований объемного захвата. Объемное видео в настоящее время используется для доставки виртуальных концертов с помощью приложения Scenez на устройствах Meta Quest и Apple Vision Pro.

Световые поля описывают в заданной точке выборки входящий свет со всех направлений. Затем это используется в постобработке для создания таких эффектов, как глубина резкости , а также позволяет пользователю слегка двигать головой. С 2006 года Lytro создает потребительские камеры, позволяющие захватывать световые поля. Поля могут быть захвачены изнутри наружу в камере или снаружи внутрь из визуализаций 3D-геометрии, представляя собой огромный объем информации, готовой к манипулированию. В настоящее время скорость передачи данных по-прежнему является большой проблемой, и эта технология имеет большой потенциал в будущем, поскольку она замеряет свет и отображает результат различными способами.

Другим побочным продуктом этой техники является достаточно точная карта глубины сцены. Это означает, что каждый пиксель имеет информацию о своем расстоянии от камеры. Facebook использует эту идею в своем семействе камер Surround360 для захвата видеоматериалов 360°, которые сшиваются с помощью карт расстояний. Извлечение этих необработанных данных возможно и позволяет производить захват любой сцены с высоким разрешением. Опять же, скорость передачи данных в сочетании с точностью карт глубины являются огромными узкими местами, но вскоре они будут преодолены с помощью более продвинутых методов оценки глубины, сжатия, а также параметрических световых полей.

В настоящее время доступны различные рабочие процессы для создания объемного видео. Они не являются взаимоисключающими и эффективно используются в комбинациях. Вот несколько примеров, демонстрирующих несколько из них:

Этот подход генерирует более традиционную 3D- сетку треугольников , похожую на геометрию, используемую в компьютерных играх и визуальных эффектах. Объем данных обычно меньше, но квантование данных реального мира в данные с более низким разрешением ограничивает разрешение и визуальную точность. Компромиссы обычно делаются между плотностью сетки и окончательной производительностью опыта.

Фотограмметрия обычно используется в качестве основы для статических сеток, а затем дополняется захватом производительности таланта с помощью той же базовой технологии видеограмметрии . Для создания окончательного набора треугольников требуется интенсивная очистка. Чтобы выйти за рамки физического мира, можно использовать методы компьютерной графики для дальнейшего улучшения полученных данных, привлекая художников для надстройки над статической сеткой и в нее по мере необходимости. Воспроизведение обычно обрабатывается движком в реальном времени и напоминает традиционный игровой конвейер в реализации, позволяя интерактивные изменения освещения и творческие и архивируемые способы компоновки статических и анимированных сеток вместе.

Недавно внимание переключилось на точечный объемный захват. Полученные данные представлены в виде точек или частиц в трехмерном пространстве, несущих в себе такие атрибуты, как цвет и размер точки. Это позволяет увеличить плотность информации и повысить разрешение контента. Требуемые скорости передачи данных велики, а текущее графическое оборудование не оптимизировано для этого рендеринга, будучи оптимизированным для конвейера рендеринга на основе сетки.

Главное преимущество точек — это потенциал для более высокого пространственного разрешения. Точки могут быть либо разбросаны по треугольным сеткам с предварительно вычисленным освещением, либо использованы напрямую со сканера LIDAR. ^[7] Производительность таланта фиксируется так же, как и в подходе на основе сетки, но больше времени и вычислительной мощности может быть использовано во время производства для дальнейшего улучшения данных. При воспроизведении «уровень детализации» может использоваться для управления вычислительной нагрузкой на устройстве воспроизведения, увеличивая или уменьшая количество полигонов. ^[8] Интерактивные изменения освещения сложнее реализовать, поскольку большая часть данных предварительно запечена. Это означает, что хотя информация об освещении, хранящаяся с точками, очень точна и высококачественна, она не может легко меняться в любой заданной ситуации. Еще одно преимущество захвата точек заключается в том, что компьютерную графику можно визуализировать с очень высоким качеством, а также хранить в виде точек, открывая дверь для идеального сочетания реальных и воображаемых элементов.

После захвата и генерации данных редактирование и компоновка выполняются в движке реального времени, соединяя записанные действия, чтобы рассказать предполагаемую историю. Затем конечный продукт можно просматривать либо как плоский рендеринг захваченных данных, либо интерактивно в гарнитуре VR .

В то время как одна цель, с точечным подходом к объемному захвату, заключается в потоковой передаче точечных данных из облака пользователю дома, что позволяет создавать и распространять реалистичные виртуальные миры по требованию, вторая цель, которая недавно рассматривалась, — это поток данных в реальном времени о живых событиях. Это требует очень высокой пропускной способности, поскольку пиксельная информация включает в себя данные о глубине (т.е. становится вокселями)

Имея в виду общее понимание технологии, в этой главе будут описаны будущие достижения в индустрии развлечений и других отраслях, а также потенциал этой технологии по изменению медиа-ландшафта.

По мере того, как объемное видео превращается в глобальный захват, а оборудование для отображения развивается в соответствии с этим, мы вступаем в эпоху настоящего погружения, где нюансы захваченной среды в сочетании с нюансами захваченных выступлений будут передавать эмоциональность в совершенно новой среде, размывая границы между реальным и виртуальным мирами. Этот новаторский в мире сенсорных трюков вызовет эволюцию в том, как мы потребляем медиа, и хотя технологии для других чувств, таких как обоняние, запах и проприоцепция, все еще находятся на стадии исследований и разработок, однажды в не столь отдаленном будущем мы будем убедительно путешествовать в новые места, как реальные, так и воображаемые. Отрасли в сфере туризма и журналистики обретут новую жизнь в возможности безопасно переносить зрителя или посетителя в определенное место, в то время как другие, такие как архитектурная визуализация и гражданское строительство, найдут способы строить целые сооружения и города и исследовать их без необходимости в едином взмахе молотка.

После того, как захват создан и сохранен, его можно использовать повторно и даже, возможно, повторно использовать ad nauseam для обстоятельств, выходящих за рамки изначально задуманного объема. Создание виртуальной декорации позволяет объемным видеооператорам и кинематографистам создавать истории и планировать кадры без необходимости в команде или даже присутствовать на самой физической декорации, а правильная визуализация может помочь актеру или исполнителю заблокировать сцену или действие с комфортом, что их практика не идет в ущерб остальной части производства. Старые декорации можно захватить в цифровом виде перед тем, как их снесут, что позволит им вечно существовать как место для повторного посещения и исследования для развлечения и вдохновения, и несколько декораций можно разбить на части таким образом, чтобы сузить циклы итераций дизайна декораций, звукового дизайна, окраски и многих других аспектов производства.

Одной из проблемных областей в развивающейся области объемного захвата является сокращение спроса на традиционные наборы навыков, такие как моделирование, освещение, анимация и т. д. Однако, хотя в будущем набор технологий объемного захвата, ориентированных на производство, будет расти и расти, также будет расти и спрос на традиционные наборы навыков. ^{[ необходима цитата ]}

Объемный захват отлично подходит для захвата статических данных или предварительно отрендеренных анимированных кадров. Однако он не может создать воображаемую среду или изначально допускать какой-либо уровень интерактивности. Именно здесь квалифицированные художники и разработчики будут пользоваться наибольшим спросом, создавая бесшовные интерактивные события и активы для дополнения существующих геометрических данных или используя существующие данные в качестве основы для построения, подобно тому, как цифровой художник может рисовать поверх базового 3D-рендера. Бремя будет лежать на ремесленнике, чтобы убедиться, что он идет в ногу с инструментами и рабочими процессами, которые лучше всего соответствуют его навыкам, но благоразумные обнаружат, что производственный конвейер будущего будет включать в себя множество возможностей для оптимизации создания трудоемких и позволяющих инвестировать в более крупные творческие задачи.

Самое главное, навыки, которые в настоящее время считаются полуустаревшими из-за достижений в области компьютерной графики и офлайн-рендеринга, снова станут актуальными, поскольку точность таких вещей, как настоящие, вручную созданные декорации, качественные костюмы, сшитые на заказ, визуализированные как объемные захваты, почти всегда будут гораздо более захватывающими, чем что-либо полностью CG. Объединяя эти реальные захваты декораций с объемными захватами дополнительных элементов CG, мы сможем смешивать реальную жизнь и наше воображение таким образом, как мы раньше могли делать только на плоском экране, создавая новые области в таких областях, как композитинг и VFX.

Процесс захвата и создания объемных данных полон вызовов и нерешенных проблем. Это следующий шаг в кинематографии, и он сопряжен с проблемами, которые будут решены со временем.

Поскольку каждое средство создает свой собственный визуальный язык, правила и творческие подходы, объемное видео все еще находится в зачаточном состоянии. Это можно сравнить с добавлением звука к движущимся изображениям. Необходимо было создать и протестировать новые философии дизайна. В настоящее время язык кино, искусство режиссуры закалены в боях более 100 лет. В полностью шести степенях свободы, интерактивном и нелинейном мире многие из традиционных подходов не могут функционировать. Чем больше опыта создается и анализируется, тем быстрее сообщество может прийти к выводу об этом языке опыта.

Текущие конвейеры видео- и кинопроизводства не готовы к немедленному переходу на объемное производство. Каждый шаг в процессе создания фильма должен быть переосмыслен и изобретен заново. Съемка на съемочной площадке, руководство талантами на съемочной площадке, монтаж, фотография, повествование и многое другое — все это области, которым необходимо потратить время на адаптацию к объемным рабочим процессам. В настоящее время каждое производство использует различные технологии, а также пробует правила взаимодействия.

Для хранения и воспроизведения захваченных данных необходимо передавать огромные наборы потоком потребителю. В настоящее время наиболее эффективным способом является создание заказных приложений, которые доставляются. Пока еще нет стандарта, который генерировал бы объемное видео и делал бы его доступным для просмотра дома. Сжатие этих данных начинает быть доступным благодаря Moving Picture Experts Group, которая ищет разумный способ потоковой передачи данных. Это сделало бы действительно интерактивные иммерсивные проекты доступными для распространения и более эффективной работы, и эту проблему необходимо решить до того, как эта среда станет мейнстримом.

Помимо применения в сфере развлечений, несколько других отраслей промышленности проявили интерес к захвату сцен с подробностями, описанными выше. Спортивные мероприятия значительно выиграли бы от подробного воспроизведения состояния игры. Это уже происходит в американском футболе и бейсболе, а также в британском футболе. ^[9] Эти 360-градусные повторы позволят зрителям в будущем анализировать матч с разных точек зрения.

Документирование пространств для исторических событий, запечатленных вживую или воссозданных, принесет большую пользу образовательному сектору. Виртуальные лекции, описывающие крупные события в истории с иммерсивным компонентом, помогут будущим поколениям представить себе пространства и совместно изучать события. Это можно абстрагировать и использовать для визуализации сценариев микромасштаба на клеточном уровне, а также эпических событий, которые изменили ход человеческого эксперимента. Главное преимущество заключается в том, что виртуальные экскурсии являются демократизацией образовательных сценариев высокого уровня. Возможность принять участие в посещении музея без необходимости физического присутствия там позволяет расширить аудиторию, а также позволяет учреждениям показывать весь свой инвентарь, а не только его часть, которая в настоящее время экспонируется.

Недвижимость и туризм могли бы точно предсказывать направления и сделать розничную индустрию гораздо более индивидуальной для отдельного человека. Захват продуктов уже был сделан для обуви, и волшебные зеркала могут использоваться в магазинах для визуализации этого. Торговые центры начали использовать это, чтобы снова заполнить их, привлекая клиентов с помощью VR Arcades, а также представляя товары виртуально.

• Карточный домик, Radiohead, Музыкальное видео
• Carne Y Arena, Алехандро Г. Иньярриту, Художественная выставка LACMA
• Blade Runner 2049: Memory Lab, VR Experience (снято в Microsoft Mixed Reality Capture Studio, Редмонд, Вашингтон)
• Уильям Патрик Корган: Aeronaut, VR-опыт и музыкальное видео (снято в Microsoft Mixed Reality Capture Studio, Редмонд, Вашингтон)
• Пробуждение: Эпизод первый, Start VR и Animal Logic, интерактивный кинематографический опыт виртуальной реальности (снято в Microsoft Mixed Reality Capture Studio, Редмонд, Вашингтон)
• Scenez на Meta Quest и Apple Vision Pro (снято в 4D Fun Studios, Калвер-Сити, Калифорния)
• Scenez XR на Meta Quest и Apple Vision Pro (снято в 4D Fun Studios, Калвер-Сити, Калифорния)