3D-сканер со структурированным светом

Датчик, способный создавать 3D-сканы с использованием видимого света

3D- сканер структурированного света — это устройство, которое измеряет трехмерную форму объекта, проецируя на него световые узоры , такие как сетки или полосы, и фиксируя их деформацию с помощью камер. ^[1] Эта технология позволяет точно реконструировать поверхность, анализируя смещение проецируемых узоров, которые обрабатываются в подробные 3D-модели с использованием специализированных алгоритмов .

Благодаря высокому разрешению и возможностям быстрого сканирования, 3D-сканеры со структурированным светом используются в различных областях, включая промышленный дизайн , контроль качества , сохранение культурного наследия, игры дополненной реальности и медицинскую визуализацию . По сравнению с 3D-лазерным сканированием , сканеры со структурированным светом могут предложить преимущества в скорости и безопасности за счет использования некогерентных источников света, таких как светодиоды или проекторы , вместо лазеров . Такой подход позволяет относительно быстро захватывать данные на больших площадях и снижает потенциальные проблемы безопасности, связанные с использованием лазеров. Однако на сканеры со структурированным светом могут влиять условия окружающего освещения и отражательные свойства сканируемых объектов.

Принцип

Проецирование узкой полосы света на трехмерную поверхность создает линию освещения, которая выглядит искаженной с других точек зрения, нежели та, с которой смотрит проектор, и может использоваться для геометрической реконструкции формы поверхности (светового сечения).

Более быстрым и универсальным методом является проецирование узоров, состоящих из множества полос одновременно или произвольных полос, поскольку это позволяет получать множество образцов одновременно. При рассмотрении с разных точек зрения узор выглядит геометрически искаженным из-за формы поверхности объекта.

Хотя возможны и многие другие варианты структурированной световой проекции, широко используются узоры из параллельных полос. На рисунке показана геометрическая деформация одной полосы, спроецированной на простую трехмерную поверхность. Смещение полос позволяет точно восстановить трехмерные координаты любых деталей на поверхности объекта.

Генерация световых узоров

Система регистрации интерференционных полос с 2 камерами (обход препятствий)

Разработаны два основных метода создания полосатого рисунка: лазерная интерференция и проекция.

Метод лазерной интерференции работает с двумя широкими плоскими фронтами лазерных лучей. Их интерференция приводит к образованию регулярных, равноудаленных линейных рисунков. Различные размеры рисунков могут быть получены путем изменения угла между этими лучами. Метод позволяет точно и легко генерировать очень тонкие узоры с неограниченной глубиной резкости. Недостатками являются высокая стоимость реализации, трудности с обеспечением идеальной геометрии луча и типичные для лазера эффекты, такие как спекл-шум и возможная самоинтерференция с частями луча, отраженными от объектов. Как правило, нет средств модуляции отдельных полос, таких как с помощью кодов Грея.

Метод проекции использует некогерентный свет и в основном работает как видеопроектор . Узоры обычно генерируются путем пропускания света через цифровой пространственный модулятор света , как правило, основанный на одной из трех наиболее распространенных в настоящее время цифровых проекционных технологий, пропускающих жидких кристаллов , отражающих жидких кристаллов на кремнии (LCOS) или модуляторах цифровой обработки света (DLP; движущееся микрозеркало), которые имеют различные сравнительные преимущества и недостатки для этого приложения. Однако могли бы использоваться и использовались другие методы проекции.

Узоры, генерируемые цифровыми проекторами, имеют небольшие разрывы из-за границ пикселей в дисплеях. Однако достаточно малыми границами можно пренебречь, поскольку они выравниваются при малейшей расфокусировке.

Типичная измерительная сборка состоит из одного проектора и как минимум одной камеры. Для многих приложений две камеры на противоположных сторонах проектора были признаны полезными.

Невидимый (или незаметный ) структурированный свет использует структурированный свет, не мешая другим задачам компьютерного зрения, для которых проецируемый рисунок будет сбивать с толку. Примеры методов включают использование инфракрасного света или чрезвычайно высокой частоты кадров, чередующихся между двумя совершенно противоположными рисунками. ^[2]

Калибровка

Геометрические искажения оптики и перспективы должны быть компенсированы калибровкой измерительного оборудования с использованием специальных калибровочных шаблонов и поверхностей. Математическая модель используется для описания свойств изображения проектора и камер. По существу, основанная на простых геометрических свойствах камеры- обскуры , модель также должна учитывать геометрические искажения и оптическую аберрацию объективов проектора и камеры. Параметры камеры, а также ее ориентация в пространстве могут быть определены серией калибровочных измерений с использованием фотограмметрической настройки пучка .

Анализ узоров полос

В наблюдаемых полосовых узорах содержится несколько сигналов глубины. Смещение любой отдельной полосы можно напрямую преобразовать в трехмерные координаты. Для этого необходимо идентифицировать отдельную полосу, что можно сделать, например, путем отслеживания или подсчета полос (метод распознавания образов). Другой распространенный метод проецирует чередующиеся полосовые узоры, что приводит к двоичным последовательностям кода Грея, идентифицирующим количество каждой отдельной полосы, попадающей на объект. Важный сигнал глубины также возникает из-за различной ширины полос вдоль поверхности объекта. Ширина полосы является функцией крутизны части поверхности, то есть первой производной возвышения. Частота и фаза полосы дают аналогичные сигналы и могут быть проанализированы с помощью преобразования Фурье . Наконец, вейвлет-преобразование недавно обсуждалось для той же цели.

Во многих практических реализациях серии измерений, сочетающие распознавание образов, коды Грея и преобразование Фурье, позволяют получить полную и однозначную реконструкцию форм.

Был продемонстрирован еще один метод, также относящийся к области проекции полос, использующий глубину резкости камеры. ^[3]

Также возможно использовать проецируемые узоры в первую очередь как средство вставки структур в сцены, по сути, для фотограмметрического получения данных.

Точность и дальность

Оптическое разрешение методов проекции полос зависит от ширины используемых полос и их оптического качества. Оно также ограничено длиной волны света.

Чрезмерное уменьшение ширины полосы оказывается неэффективным из-за ограничений глубины резкости, разрешения камеры и разрешения дисплея. Поэтому метод сдвига фазы получил широкое распространение: делается не менее 3, обычно около 10 экспозиций со слегка смещенными полосами. Первые теоретические выводы этого метода основывались на полосах с синусоидальной модуляцией интенсивности, но методы работают и с «прямоугольными» модулированными полосами, как это происходит с ЖК-дисплеями или DLP-дисплеями. Сдвигом фазы можно разрешить детали поверхности, например, 1/10 шага полосы.

Текущая оптическая профилометрия полосового рисунка, таким образом, позволяет получать детальные разрешения вплоть до длины волны света, на практике менее 1 микрометра или, с более крупными полосовыми рисунками, приблизительно до 1/10 ширины полосы. Что касается точности уровня, интерполяция по нескольким пикселям полученного изображения с камеры может дать надежное разрешение по высоте, а также точность, вплоть до 1/50 пикселя.

Произвольно большие объекты могут быть измерены с помощью соответствующих больших полосовых шаблонов и установок. Практические приложения документированы с использованием объектов размером в несколько метров.

Типичные показатели точности:

Плоскостность поверхности шириной 2 фута (0,61 м) с точностью до 10 микрометров (0,00039 дюйма).
Форма камеры сгорания двигателя до 2 микрометров (7,9 × 10−5 дюймов) (по высоте), что обеспечивает точность объема в 10 раз выше, чем при объемном дозировании ^.
Форма объекта размером от 2 дюймов (51 мм) до примерно 1 микрометра (3,9 ^×10−5 дюйма )
Радиус кромки лезвия, например, от 10 микрометров (0,00039 дюйма), до ±0,4 мкм

Поскольку метод позволяет измерять формы только с одной перспективы за раз, полные 3D-формы должны быть скомбинированы из разных измерений под разными углами. Это можно сделать, прикрепив маркерные точки к объекту и затем объединив перспективы путем сопоставления этих маркеров. Процесс можно автоматизировать, установив объект на моторизованный поворотный стол или позиционирующее устройство с ЧПУ . Маркеры также можно наносить на позиционирующее устройство вместо самого объекта.

Собранные трехмерные данные можно использовать для извлечения данных и моделей САПР (систем автоматизированного проектирования) из существующих компонентов ( обратное проектирование ), образцов или скульптур ручной работы, природных объектов или артефактов.

Вызовы

Как и во всех оптических методах, отражающие или прозрачные поверхности создают трудности. Отражения приводят к тому, что свет отражается либо от камеры, либо прямо в ее оптику. В обоих случаях динамический диапазон камеры может быть превышен. Прозрачные или полупрозрачные поверхности также вызывают серьезные трудности. В этих случаях покрытие поверхностей тонким непрозрачным лаком только для целей измерения является обычной практикой. Недавний метод обрабатывает сильно отражающие и зеркальные объекты, вставляя одномерный диффузор между источником света (например, проектором) и сканируемым объектом. ^[4] Были предложены альтернативные оптические методы для обработки совершенно прозрачных и зеркальных объектов. ^[5]

Двойные отражения и взаимные отражения могут привести к тому, что рисунок полос будет наложен нежелательным светом, полностью исключая возможность правильного обнаружения. Поэтому отражающие полости и вогнутые объекты трудно обрабатывать. Также трудно обрабатывать полупрозрачные материалы, такие как кожа, мрамор, воск, растения и человеческие ткани из-за явления подповерхностного рассеяния. В последнее время в сообществе компьютерного зрения были предприняты усилия по обработке таких оптически сложных сцен путем перепроектирования рисунков освещения. ^[6] Эти методы показали многообещающие результаты 3D-сканирования для традиционно сложных объектов, таких как сильно зеркальные металлические вогнутости и полупрозрачные восковые свечи. ^[7]

Скорость

Хотя в большинстве вариантов структурированного освещения для каждого снимка необходимо делать несколько шаблонов, для ряда приложений доступны высокоскоростные реализации, например:

Встроенный прецизионный контроль компонентов в процессе производства.
Приложения в сфере здравоохранения, такие как измерение в реальном времени форм человеческого тела или микроструктуры человеческой кожи.

Были предложены приложения для киносъемки, например, для получения пространственных данных сцен для трехмерного телевидения.

Приложения

Промышленные оптические метрологические системы (ATOS) от GOM GmbH используют технологию структурированного света для достижения высокой точности и масштабируемости измерений. Эти системы обладают функцией самоконтроля состояния калибровки, точности преобразования, изменений окружающей среды и перемещения деталей для обеспечения высококачественных данных измерений. ^[8]
Google Project Tango SLAM ( одновременная локализация и картографирование ) с использованием глубинных технологий, включая Structured Light, Time of Flight и Stereo. Time of Flight требует использования инфракрасного (ИК) проектора и ИК-датчика; Stereo — нет.
Компания MainAxis srl производит 3D-сканер, использующий передовую запатентованную технологию, которая позволяет выполнять 3D-сканирование в полном цвете со временем получения изображения в несколько микросекунд, что используется в медицине и других областях.
Технология PrimeSense , применявшаяся в ранней версии Microsoft Kinect , использовала схему проецируемых инфракрасных точек для создания плотного трехмерного изображения. (Позже Microsoft Kinect перешел на использование камеры времени пролета вместо структурированного света.)
Затылочная
- Датчик структуры использует шаблон проецируемых инфракрасных точек, откалиброванный для минимизации искажений, чтобы создать плотное трехмерное изображение.
- Structure Core использует стереокамеру, которая сопоставляет случайный рисунок проецируемых инфракрасных точек для создания плотного трехмерного изображения.
Камера Intel RealSense проецирует серию инфракрасных изображений для получения трехмерной структуры.
Система Face ID работает путем проецирования более 30 000 инфракрасных точек на лицо и создания трехмерной карты лица.
Датчик VicoVR использует схему инфракрасных точек для отслеживания скелета.
Chiaro Technologies использует единый разработанный шаблон инфракрасных точек, называемый Symbolic Light, для потоковой передачи трехмерных облаков точек для промышленных приложений.
Розничная торговля модной одеждой на заказ
3D- автоматизированный оптический контроль
Точное измерение формы для контроля производства (например, лопаток турбин)
Обратное проектирование (получение точных данных САПР из существующих объектов)
Измерение объема (например, объема камеры сгорания в двигателях)
Классификация шлифовальных материалов и инструментов
Точное измерение структуры земных поверхностей
Определение радиуса лезвий режущего инструмента
Точное измерение плоскостности
Документирование объектов культурного наследия
Захват окружения для игр с дополненной реальностью
Измерение поверхности кожи для косметики и медицины
Измерение формы тела
Судебно-медицинские экспертизы
Структура и неровность дорожного покрытия
Измерение складок на ткани и коже
Микроскопия со структурированным освещением
Измерение топографии солнечных элементов ^[9]
Система 3D-зрения позволяет роботу DHL выполнять электронные заказы ^[10]

Программное обеспечение

3DUNDERWORLD SLS – ОТКРЫТЫЙ ИСХОДНЫЙ КОД ^[11]
Самодельный 3D-сканер на основе структурированного света и стереозрения на языке Python ^[12]
SLStudio — Структурированный свет в реальном времени с открытым исходным кодом ^[13]

Смотрите также

Ссылки

^ Борко Фюрт (2008). Энциклопедия мультимедиа (2-е изд.). Спрингер. п. 222. ИСБН 978-0-387-74724-8.
^ Фофи, Дэвид; Т. Слива; И. Вуазен (январь 2004 г.). «Сравнительный обзор невидимого структурированного света» (PDF) . SPIE Electronic Imaging — Применение машинного зрения в промышленном контроле XII . Сан-Хосе, США. стр. 90–97.
^ "Tiefenscannende Streifenprojektion (DSFP) с 3D-калибровкой" . Штутгартский университет (на немецком языке). Архивировано из оригинала 9 апреля 2013 года.
^ Шри К. Наяр и Мохит Гупта, Диффузный структурированный свет, Труды Международной конференции IEEE по вычислительной фотографии, 2012 г.
^ Эрон Стегер и Кириакос Н. Кутулакос (2008). «Теория рефракционной и зеркальной трехмерной формы с помощью триангуляции светового пути». Int. J. Computer Vision, т. 76, № 1.
^ Мохит Гупта, Амит Агравал, Ашок Вирарагхаван и Шриниваса Г. Нарасимхан (2011). «Измерение формы в присутствии взаимных отражений, подповерхностного рассеяния и расфокусировки». Proc. CVPR.{{cite news}}: CS1 maint: несколько имен: список авторов ( ссылка )
^ Мохит Гупта; Шри К. Наяр (2012). «Микрофазовый сдвиг». Учеб. ЦВПР.
^ "ATOS – Industrial 3D Scanning Technology". GOM GmbH . Получено 9 июля 2018 г.
^ Валецки, В. Дж.; Зонди, Ф.; Хилали, М. М. (2008). «Быстрая метрология топографии поверхности в потоке, позволяющая рассчитывать напряжение для производства солнечных элементов с производительностью свыше 2000 пластин в час». Measurement Science and Technology . 19 (2): 025302. doi :10.1088/0957-0233/19/2/025302. S2CID 121768537.
^ "Система 3D-зрения позволяет DHL использовать робота для электронного выполнения заказов". The Robot Report . 12 декабря 2018 г.
^ Кириакос Гераклеус и Хараламбос Пуллис (2014). «3DUNDERWORLD-SLS: Система сканирования структурированного света с открытым исходным кодом для быстрого получения геометрии». arXiv : 1406.6595 [cs.CV].
^ Хесам Х. (2015). «Самодельный 3D-сканер на основе структурированного света и стереозрения на языке Python».
^ Wilm, Jakob; Olesen, Oline V.; Larsen, Rasmus (2014). "SLStudio: Open-source framework for real-time structured light". 2014 4-я Международная конференция по теории обработки изображений, инструментам и приложениям (IPTA) . стр. 1–4. doi :10.1109/IPTA.2014.7002001. ISBN 978-1-4799-6463-5. S2CID 206932100.

Источники

Фехтелер, П., Эйсерт, П., Рурайски, Й.: Быстрое и высококачественное 3D-сканирование лица, протокол ICIP 2007
Фехтелер, П., Эйсерт, П.: Адаптивная классификация цветов для структурированных световых систем. Труды CVPR 2008 г.
Лю Кай, Ван Юнчан, Лау Дэниел Л., Хао Ци, Хассебрук Лоренс Г. (2010). «Схема двухчастотного шаблона для высокоскоростного измерения трехмерной формы». Optics Express . 18 (5): 5229–5244. Bibcode : 2010OExpr..18.5229L. doi : 10.1364/oe.18.005229 . PMID 20389536.{{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка )
Kai Liu, Yongchang Wang, Daniel L. Lau, Qi Hao, Laurence G. Hassebrook: Гамма-модель и ее анализ для фазовой измерительной профилометрии. J. Opt. Soc. Am. A, 27: 553–562, 2010
Юнчан Ван, Кай Лю, Дэниел Л. Лау, Ци Хао, Лоренс Г. Хассебрук: Стратегия максимального шаблона SNR для методов сдвига фаз в структурированном световом освещении, J. Opt. Soc. Am. A, 27(9), стр. 1962–1971, 2010
Пэн Т., Гупта СК (2007). "Модель и алгоритмы построения облака точек с использованием цифровых проекционных шаблонов" (PDF) . Журнал вычислительной техники и информационной науки в машиностроении . 7 (4): 372–381. CiteSeerX 10.1.1.127.3674 . doi :10.1115/1.2798115.
Хоф, К., Хоперманн, Х.: Сравнение результатов измерений микротопографии кожи человека с помощью реплик и in vivo. Университет федеральных вооруженных сил, Гамбург
Франковски, Г., Чен, М., Хут, Т.: Измерение трехмерной формы в реальном времени с помощью цифровой проекции полосы от Texas Instruments Micromirror Devices (DMD) Proc. SPIE-Vol. 3958(2000), стр. 90–106
Франковски, Г., Чен, М., Хут, Т.: Оптическое измерение трехмерных координат и объема камеры сгорания головок цилиндров двигателя. Труды «Fringe 2001», стр. 593–598
Je, Changsoo; Lee, Sang Wook; Park, Rae-Hong (2012). «Шаблон перестановки цветных полос для быстрой визуализации в диапазоне структурированного света». Optics Communications . 285 (9): 2320–2331. Bibcode : 2012OptCo.285.2320J. doi : 10.1016/j.optcom.2012.01.025.
Je, Changsoo; Lee, Sang Wook; Park, Rae-Hong (2004). "Высококонтрастный рисунок цветных полос для быстрого получения изображений в диапазоне структурированного света". Computer Vision - ECCV 2004. Lecture Notes in Computer Science. Vol. 3021. pp. 95–107. arXiv : 1508.04981 . doi :10.1007/978-3-540-24670-1_8. ISBN 978-3-540-21984-2. S2CID 13277591.
Елена Стойкова, Яна Харизанова, Вентеслав Саинов: Профилометрия проекций шаблонов для измерения трехмерных координат динамических сцен. В: Трехмерное телевидение, Springer, 2008, ISBN 978-3-540-72531-2
Сун Чжан, Пэйсен Хуан: Измерение трехмерной формы в реальном времени с высоким разрешением (кандидатская диссертация, Университет Стоуни-Брук, 2005 г.)
Тао Пэн: Алгоритмы и модели для измерения трехмерной формы с использованием цифровых проекций интерференционных полос (кандидатская диссертация, Мэрилендский университет, США, 2007 г.)
В. Вильке: Segmentierung und Approximation großer Punktwolken (Dissertation Univ. Darmstadt, 2000)
Г. Виора: Optische 3D-Messtechnik Präzise Gestaltvermessung mit einem erweiterten Streifenprojektionsverfahren (Dissertation Univ. Heidelberg, 2001)
Клаус Кёрнер, Ульрих Дросте: Tiefenscannende Streifenprojektion (DSFP), Штутгартский университет (дополнительные ссылки на английском языке на сайте)
Р. Морано, К. Озтюрк, Р. Конн, С. Дубин, С. Циц, Дж. Ниссано, «Структурированный свет с использованием псевдослучайных кодов», Труды IEEE по анализу образов и машинному интеллекту 20 (3)(1998)322–327

Дальнейшее чтение

Бахрома, 2005, 5-й Международный семинар по автоматической обработке узоров бахромы, Берлин: Springer, 2006. ISBN 3-540-26037-4 , 978-3-540-26037-0

[1] Борко Фюрт (2008). Энциклопедия мультимедиа (2-е изд.). Спрингер. п. 222. ИСБН 978-0-387-74724-8.

[2] Фофи, Дэвид; Т. Слива; И. Вуазен (январь 2004 г.). «Сравнительный обзор невидимого структурированного света» (PDF) . SPIE Electronic Imaging — Применение машинного зрения в промышленном контроле XII . Сан-Хосе, США. стр. 90–97.

[3] "Tiefenscannende Streifenprojektion (DSFP) с 3D-калибровкой" . Штутгартский университет (на немецком языке). Архивировано из оригинала 9 апреля 2013 года.

[4] Шри К. Наяр и Мохит Гупта, Диффузный структурированный свет, Труды Международной конференции IEEE по вычислительной фотографии, 2012 г.

[5] Эрон Стегер и Кириакос Н. Кутулакос (2008). «Теория рефракционной и зеркальной трехмерной формы с помощью триангуляции светового пути». Int. J. Computer Vision, т. 76, № 1.

[6] Мохит Гупта, Амит Агравал, Ашок Вирарагхаван и Шриниваса Г. Нарасимхан (2011). «Измерение формы в присутствии взаимных отражений, подповерхностного рассеяния и расфокусировки». Proc. CVPR.{{cite news}}: CS1 maint: несколько имен: список авторов ( ссылка )

[7] Мохит Гупта; Шри К. Наяр (2012). «Микрофазовый сдвиг». Учеб. ЦВПР.

[8] "ATOS – Industrial 3D Scanning Technology". GOM GmbH . Получено 9 июля 2018 г.

[9] Валецки, В. Дж.; Зонди, Ф.; Хилали, М. М. (2008). «Быстрая метрология топографии поверхности в потоке, позволяющая рассчитывать напряжение для производства солнечных элементов с производительностью свыше 2000 пластин в час». Measurement Science and Technology . 19 (2): 025302. doi :10.1088/0957-0233/19/2/025302. S2CID 121768537.

[10] "Система 3D-зрения позволяет DHL использовать робота для электронного выполнения заказов". The Robot Report . 12 декабря 2018 г.

[11] Кириакос Гераклеус и Хараламбос Пуллис (2014). «3DUNDERWORLD-SLS: Система сканирования структурированного света с открытым исходным кодом для быстрого получения геометрии». arXiv : 1406.6595 [cs.CV].

[12] Хесам Х. (2015). «Самодельный 3D-сканер на основе структурированного света и стереозрения на языке Python».

[13] Wilm, Jakob; Olesen, Oline V.; Larsen, Rasmus (2014). "SLStudio: Open-source framework for real-time structured light". 2014 4-я Международная конференция по теории обработки изображений, инструментам и приложениям (IPTA) . стр. 1–4. doi :10.1109/IPTA.2014.7002001. ISBN 978-1-4799-6463-5. S2CID 206932100.