Слияние изображений
Объединение нескольких изображений для создания одного

Процесс слияния изображений определяется как сбор всей важной информации из нескольких изображений и включение ее в меньшее количество изображений, обычно в одно. Это одно изображение более информативно и точно, чем любое одно исходное изображение, и оно состоит из всей необходимой информации. Целью слияния изображений является не только сокращение объема данных, но и построение изображений, которые более подходят и понятны для восприятия человеком и машиной. [1] [2] В компьютерном зрении слияние изображений с несколькими датчиками представляет собой процесс объединения соответствующей информации из двух или более изображений в одно изображение. [3] Полученное изображение будет более информативным, чем любое из входных изображений. [4]

В приложениях дистанционного зондирования растущая доступность космических датчиков мотивирует к использованию различных алгоритмов слияния изображений. В ряде ситуаций при обработке изображений требуется высокое пространственное и высокое спектральное разрешение в одном изображении. Большая часть имеющегося оборудования не способна убедительно предоставить такие данные. Методы слияния изображений позволяют интегрировать различные источники информации. Слитое изображение может иметь дополнительные характеристики пространственного и спектрального разрешения. Однако стандартные методы слияния изображений могут искажать спектральную информацию многоспектральных данных при слиянии.

В спутниковой съемке доступны два типа изображений. Панхроматическое изображение, полученное со спутников, передается с максимально возможным разрешением, а мультиспектральные данные передаются с более грубым разрешением. Обычно оно в два или четыре раза ниже. На станции-приемнике панхроматическое изображение объединяется с мультиспектральными данными для передачи большего количества информации.

Существует множество методов для выполнения слияния изображений. Самый простой из них — это метод высокочастотной фильтрации . Более поздние методы основаны на дискретном вейвлет-преобразовании , банке равномерных рациональных фильтров и пирамиде Лапласа .

Мотивация

Слияние данных с нескольких датчиков стало дисциплиной, которая требует более общих формальных решений для ряда прикладных случаев. Несколько ситуаций в обработке изображений требуют как высокой пространственной, так и высокой спектральной информации в одном изображении. [5] Это важно в дистанционном зондировании. Однако приборы не способны предоставлять такую ​​информацию либо по своей конструкции, либо из-за ограничений наблюдения. Одним из возможных решений для этого является слияние данных .

Методы

Методы слияния изображений можно условно разделить на две группы — слияние пространственных доменов и слияние доменов преобразований.

Методы слияния, такие как усреднение, метод Брови, анализ главных компонент ( PCA ) и методы на основе IHS , относятся к подходам пространственной области. Другим важным методом слияния пространственной области является метод, основанный на высокочастотной фильтрации. Здесь высокочастотные детали вводятся в версию изображений MS с повышенной дискретизацией. Недостатком подходов пространственной области является то, что они создают пространственное искажение в слитом изображении. Спектральное искажение становится негативным фактором, когда мы переходим к дальнейшей обработке, такой как проблема классификации. Пространственное искажение может быть очень хорошо обработано подходами частотной области при слиянии изображений. Анализ с несколькими разрешениями стал очень полезным инструментом для анализа изображений дистанционного зондирования. Дискретное вейвлет-преобразование стало очень полезным инструментом для слияния. Существуют также некоторые другие методы слияния, такие как основанные на пирамиде Лапласа, основанные на преобразовании курвлет и т. д. Эти методы показывают лучшую производительность в пространственном и спектральном качестве слитого изображения по сравнению с другими пространственными методами слияния.

Изображения, используемые в слиянии изображений, должны быть уже зарегистрированы . Несовмещение является основным источником ошибок при слиянии изображений. Некоторые известные методы слияния изображений:

  • Метод высокочастотной фильтрации
  • Слияние изображений на основе преобразования IHS
  • Слияние изображений на основе PCA
  • Слияние изображений с помощью вейвлет-преобразования
  • Парное пространственное частотное соответствие

Сравнительный анализ методов слияния изображений показывает, что разные метрики поддерживают разные потребности пользователей, чувствительны к разным методам слияния изображений и должны быть адаптированы к приложению. Категории метрик слияния изображений основаны на особенностях теории информации [4] , структурном сходстве или человеческом восприятии. [6]

Многофокусное слияние изображений

Слияние многофокусных изображений используется для сбора полезной и необходимой информации из входных изображений с различной глубиной фокусировки с целью создания выходного изображения, которое в идеале содержит всю информацию из входных изображений. [2] [7] В визуальной сенсорной сети (VSN) датчики — это камеры, которые записывают изображения и видеопоследовательности. Во многих приложениях VSN камера не может дать идеальную иллюстрацию, включая все детали сцены. Это происходит из-за ограниченной глубины фокусировки, существующей в оптических линзах камер. [8] Таким образом, фокусируется и очищается только объект, расположенный в фокусном расстоянии камеры, а другие части изображения размываются. VSN имеет возможность захватывать изображения с различной глубиной фокусировки в сцене с помощью нескольких камер. Из-за большого объема данных, генерируемых камерой по сравнению с другими датчиками, такими как датчики давления и температуры, и некоторых ограничений, таких как ограниченная ширина полосы пропускания, потребление энергии и время обработки, важно обрабатывать локальные входные изображения, чтобы уменьшить объем передаваемых данных. Вышеупомянутые причины подчеркивают необходимость слияния многофокусных изображений. Слияние многофокусных изображений — это процесс, который объединяет входные многофокусные изображения в одно изображение, включающее всю важную информацию входных изображений и более точное описание сцены, чем каждое отдельное входное изображение. [2]

Приложения

В дистанционном зондировании

Слияние изображений в дистанционном зондировании имеет несколько областей применения. Важной областью является слияние изображений с несколькими разрешениями (обычно называемое пан-шарпенингом). В спутниковых снимках мы можем иметь два типа изображений:

  • Панхроматические изображения — изображения, полученные в широком диапазоне длин волн видимого света, но представленные в черно-белом цвете.
  • Мультиспектральные изображения – оптически полученные изображения в более чем одном спектральном или длин волновом интервале. Каждое отдельное изображение обычно имеет одну и ту же физическую область и масштаб, но разную спектральную полосу.

Спутник SPOT PAN предоставляет панхроматические данные с высоким разрешением (10 м пиксел). В то время как спутник LANDSAT TM предоставляет многоспектральные изображения с низким разрешением (30 м пиксел). Слияние изображений пытается объединить эти изображения и создать единое многоспектральное изображение с высоким разрешением.

Стандартные методы слияния изображений основаны на преобразовании Красный–Зеленый–Синий (RGB) в Интенсивность–Оттенок–Насыщенность (IHS). Обычные шаги, используемые при слиянии спутниковых изображений, следующие:

  1. Измените размер мультиспектральных изображений с низким разрешением до размера панхроматического изображения.
  2. Преобразуйте каналы R, G и B мультиспектрального изображения в компоненты IHS.
  3. Модифицируйте панхроматическое изображение относительно мультиспектрального изображения. Обычно это выполняется путем сопоставления гистограммы панхроматического изображения с компонентом интенсивности мультиспектральных изображений в качестве опорного.
  4. Замените компонент интенсивности панхроматическим изображением и выполните обратное преобразование, чтобы получить многоспектральное изображение высокого разрешения.

Увеличение резкости можно выполнить с помощью Photoshop . [9] Доступны и другие приложения слияния изображений в дистанционном зондировании. [10]

В медицинской визуализации

Слияние изображений стало общепринятым термином, используемым в медицинской диагностике и лечении. [11] Термин используется, когда несколько изображений пациента регистрируются и накладываются или объединяются для предоставления дополнительной информации. Слитые изображения могут быть созданы из нескольких изображений из одной и той же модальности визуализации, [12] или путем объединения информации из нескольких модальностей, [13] таких как магнитно-резонансная томография (МРТ), компьютерная томография (КТ), позитронно-эмиссионная томография (ПЭТ) и однофотонная эмиссионная компьютерная томография (ОФЭКТ). В радиологии и радиационной онкологии эти изображения служат разным целям. Например, изображения КТ чаще используются для установления различий в плотности тканей, в то время как изображения МРТ обычно используются для диагностики опухолей головного мозга.

Для точной диагностики рентгенологи должны интегрировать информацию из нескольких форматов изображений. Объединенные, анатомически согласованные изображения особенно полезны при диагностике и лечении рака. С появлением этих новых технологий радиоонкологи могут в полной мере воспользоваться преимуществами лучевой терапии с модулированной интенсивностью ( IMRT ). Возможность наложения диагностических изображений на изображения планирования облучения приводит к более точным целевым объемам опухоли IMRT .

Смотрите также

  • Объединение данных  — интеграция нескольких источников данных для предоставления более качественной информации.
  • Демозаика  – алгоритм реконструкции цветаСтраницы, отображающие краткие описания целей перенаправления
  • Слияние экспозиций  — метод объединения нескольких экспозиций одной и той же сцены в единое изображение.Страницы, отображающие описания викиданных в качестве резерва
  • Слияние датчиков  – объединение данных датчиков из разнородных источников

Ссылки

  1. ^ Чжэн, Юфэн; Блаш, Эрик; Лю, Чжэн (2018). Мультиспектральное объединение изображений и раскрашивание. СПАЙ Пресс. ISBN 9781510619067.
  2. ^ abc M., Amin-Naji; A., Aghagolzadeh (2018). «Многофокусное слияние изображений в области DCT с использованием дисперсии и энергии лапласиана и коэффициента корреляции для сетей визуальных датчиков». Журнал искусственного интеллекта и интеллектуального анализа данных . 6 (2): 233–250. doi :10.22044/jadm.2017.5169.1624. ISSN  2322-5211.
  3. ^ Хагигхат, MBA; Агаголзаде, А.; Сейедараби, Х. (2011). «Многофокусное слияние изображений для сетей визуальных датчиков в области DCT». Компьютеры и электротехника . 37 (5): 789–797. doi :10.1016/j.compeleceng.2011.04.016. S2CID  38131177.
  4. ^ ab Haghighat, MBA; Aghagolzadeh, A.; Seyedarabi, H. (2011). «Метрика слияния нереферентных изображений, основанная на взаимной информации характеристик изображения». Компьютеры и электротехника . 37 (5): 744–756. doi :10.1016/j.compeleceng.2011.07.012. S2CID  7738541.
  5. ^ AL Smadi, Ahmad (18 мая 2021 г.). «Умный подход к паншарпенингу с использованием фильтрации изображений на основе ядра». IET Image Processing . 15 (11): 2629–2642. doi :10.1049/ipr2.12251. S2CID  235632628.
  6. ^ Лю, З.; Блаш, Э.; Сюэ, З.; Ланганьер, Р.; У, В. (2012). «Объективная оценка алгоритмов слияния изображений с несколькими разрешениями для улучшения контекста в ночном видении: сравнительный обзор». Труды IEEE по анализу образов и машинному интеллекту . 34 (1): 94–109. doi :10.1109/tpami.2011.109. PMID  21576753. S2CID  9248856.
  7. ^ Наджи, МА; Агаголзаде, А. (ноябрь 2015 г.). «Многофокусное слияние изображений в области DCT на основе коэффициента корреляции». 2015 г. 2-я Международная конференция по инжинирингу и инновациям на основе знаний (KBEI) . стр. 632–639. doi :10.1109/KBEI.2015.7436118. ISBN 978-1-4673-6506-2. S2CID  44524869.
  8. ^ Наджи, МА; Агаголзаде, А. (ноябрь 2015 г.). «Новый метод слияния многофокусных изображений на основе дисперсии в области DCT». 2015 г. 2-я Международная конференция по инжинирингу и инновациям на основе знаний (KBEI) . стр. 478–484. doi :10.1109/KBEI.2015.7436092. ISBN 978-1-4673-6506-2. S2CID  29215692.
  9. ^ Пан-резкость в Photoshop
  10. ^ "Beyond Pan-sharpening: Pixel-level Fusion in Remote Sensing Applications" (PDF) . Архивировано из оригинала (PDF) 2015-09-01 . Получено 2013-03-05 .
  11. ^ Джеймс, AP; Дасарати, B V. (2014). «Слияние медицинских изображений: обзор современного состояния». Information Fusion . 19 : 4–19. arXiv : 1401.0166 . doi : 10.1016/j.inffus.2013.12.002. S2CID  15315731.
  12. ^ Гудинг, М. Дж. и др. (2010). «Исследование слияния нескольких 4-мерных изображений эхокардиографии плода для улучшения качества изображения». Ультразвук в медицине и биологии . 36 (6): 957–66. doi :10.1016/j.ultrasmedbio.2010.03.017. PMID  20447758.
  13. ^ Maintz, JB; Viergever, MA (1998). «Обзор регистрации медицинских изображений». Анализ медицинских изображений . 2 (1): 1–36. CiteSeerX 10.1.1.46.4959 . doi :10.1016/s1361-8415(01)80026-8. PMID  10638851. 
  • http://www.math.hcmuns.edu.vn/~ptbao/LVTN/2003/cameras/a161001433035.pdf Архивировано 06.03.2012 в Wayback Machine Z. Wang, D. Ziou, C. Armenakis, D. Li и Q. Li, «Сравнительный анализ методов слияния изображений», IEEE Trans. Geosci. Remote Sens., т. 43, № 6, стр. 81–84, июнь 2005 г.
Взято с "https://en.wikipedia.org/w/index.php?title=Image_fusion&oldid=1243735470"