Подводное компьютерное зрение

Подотрасль компьютерного зрения

Подводное компьютерное зрение является подразделом компьютерного зрения . В последние годы, с развитием подводных аппаратов ( ROV , AUV , планеров ), необходимость иметь возможность записывать и обрабатывать огромные объемы информации становится все более важной. Приложения варьируются от осмотра подводных сооружений для оффшорной промышленности до идентификации и подсчета рыб для биологических исследований. Однако, независимо от того, насколько велико влияние этой технологии на промышленность и исследования, она все еще находится на очень ранней стадии развития по сравнению с традиционным компьютерным зрением. Одна из причин этого заключается в том, что в тот момент, когда камера попадает в воду, появляется целый ряд новых проблем. С одной стороны, камеры должны быть водонепроницаемыми, морская коррозия быстро разрушает материалы, а доступ и модификации экспериментальных установок требуют больших затрат как времени, так и ресурсов. С другой стороны, физические свойства воды заставляют свет вести себя по-разному, изменяя внешний вид одного и того же объекта в зависимости от глубины, органического материала, течений, температуры и т. д.

Приложения

Исследование морского дна
Навигация и позиционирование транспортного средства ^[1]
Биологический мониторинг ^{[ требуется ссылка ]}^{[ требуется разъяснение ]} {возможно, водный биомониторинг )
Видеомозаики как визуальные навигационные карты
Инспекция подводного трубопровода
Визуализация обломков ^{[ необходимо разъяснение ]}^{[ необходима ссылка ]}
Техническое обслуживание подводных сооружений ^{[ необходима ссылка ]}
Системы обнаружения утопления

Средние различия

Освещение

В воздухе свет исходит со всего полушария в пасмурные дни, и доминирует солнце. В воде прямое освещение исходит из конуса шириной около 96° над сценой. Это явление называется окном Снеллиуса . ^[2]

Искусственное освещение можно использовать там, где уровень естественного освещения недостаточен и где путь света слишком длинный для получения приемлемого цвета, поскольку потеря цвета является функцией общего расстояния через воду от источника до порта объектива камеры. ^[3]

Ослабление света

В отличие от воздуха, ^{[ требуется цитата ]} вода ослабляет свет экспоненциально. Это приводит к размытым изображениям с очень низким контрастом. ^{[ требуется пояснение ]} Основными причинами ослабления света являются поглощение света (когда энергия удаляется из света) и рассеяние света, при котором изменяется направление света. Рассеивание света можно далее разделить на прямое рассеяние, которое приводит к повышенной размытости, и обратное рассеяние, которое ограничивает контраст и отвечает за характерную вуаль подводных изображений. Как рассеяние, так и ослабление сильно зависят от количества органического вещества, растворенного или взвешенного в воде. ^{[ требуется цитата ]}

Ослабление света в воде также является функцией длины волны. Это означает, что разные цвета ослабляются с разной скоростью, что приводит к деградации цвета с глубиной и расстоянием. Красный и оранжевый свет ослабевают быстрее, за ними следуют желтый и зеленый. Синий — наименее ослабленная видимая длина волны. ^[4]

Искусственное освещение

Вызовы

В компьютерном зрении высокого уровня человеческие структуры часто используются в качестве признаков изображения для сопоставления изображений в различных приложениях. Однако морское дно не имеет таких признаков, что затрудняет поиск соответствий в двух изображениях.

Для использования камеры в воде необходим водонепроницаемый корпус. Однако на границе раздела вода-стекло и стекло-воздух из-за разницы в плотности материалов будет происходить преломление. Это приводит к нелинейной деформации изображения.

Движение транспортного средства представляет собой еще одну особую проблему. Подводные транспортные средства постоянно движутся из-за течений и других явлений. Это вносит еще одну неопределенность в алгоритмы, где небольшие движения могут появляться во всех направлениях. Это может быть особенно важно для видеоотслеживания . Чтобы уменьшить эту проблему, могут применяться алгоритмы стабилизации изображения .

Соответствующие технологии

Восстановление изображения

Методы восстановления изображения предназначены для моделирования процесса деградации и его последующего инвертирования с получением нового изображения после решения. ^[5]^[6] Как правило, это сложный подход, требующий множества параметров ^{[ необходимо уточнение ]} , которые сильно различаются в зависимости от различных условий воды.

Улучшение изображения

Улучшение изображения ^[7] только пытается предоставить визуально более привлекательное изображение, не принимая во внимание физический процесс формирования изображения. Эти методы обычно проще и менее вычислительно интенсивны.

Цветовая коррекция

Существуют различные алгоритмы, которые выполняют автоматическую коррекцию цвета. ^[8]^[9] Например, метод UCM (Unsupervised Color Correction Method) делает это следующим образом: сначала он уменьшает цветовой оттенок, выравнивая цветовые значения. Затем он усиливает контраст, растягивая красную гистограмму до максимума, и, наконец, оптимизируются компоненты насыщенности и интенсивности. ^{[ необходима цитата ]}

Подводное стереозрение

Обычно предполагается, что стереокамеры были предварительно откалиброваны геометрически и радиометрически. Это приводит к предположению, что соответствующие пиксели должны иметь одинаковый цвет. Однако это не может быть гарантировано в подводной сцене из-за дисперсии и обратного рассеивания. Однако возможно цифровое моделирование этого явления и создание виртуального изображения с удаленными этими эффектами

Другие области применения

Гидролокаторы визуализации ^[10]^[11] становятся все более доступными и приобретают разрешение, обеспечивая лучшее качество изображений. Гидролокаторы бокового обзора используются для создания полных карт регионов морского дна, сшивая последовательности изображений гидролокаторов. Однако изображения гидролокаторов часто не имеют надлежащего контраста ^{[ необходимо уточнение ]} и ухудшаются артефактами и искажениями из-за шума, изменений положения AUV/ROV, несущего гидролокатор, или неравномерных диаграмм направленности лучей. Еще одной распространенной проблемой компьютерного зрения гидролокатора является сравнительно низкая частота кадров изображений гидролокатора. ^[12]

Ссылки

^ Хорган, Джонатан; Тоал, Дэниел (2009). «Применение компьютерного зрения в навигации беспилотных подводных аппаратов». Подводные аппараты . doi :10.5772/6703. ISBN 978-953-7619-49-7. S2CID 2940888.
^ Мартин Эдж и Ян Тернер (1999). Подводный фотограф. Focal Press. ISBN 0-240-51581-1. Архивировано из оригинала 2023-10-22 . Получено 2024-07-24 .
^ "Цвет под водой". Deep-six.com . Архивировано из оригинала 23 июля 2024 . Получено 23 июля 2024 .
^ Хегде, М. (30 сентября 2009 г.). «Синий, более синий и самый синий океан». NASA Goddard Earth Sciences Data and Information Services. Архивировано из оригинала 12 июля 2009 г. Получено 27 мая 2011 г.
^ Y. Шехнер, Йоав; Карпель, Нир. «Четкое подводное зрение». Proc. Computer Vision & Pattern Recognition . I : 536–543 .
^ Хоу, Вейлин; Дж. Грей, Дерик; Вайдеманн, Алан Д.; А. Арноне, Роберт (2008). «Сравнение и проверка моделей рассеяния точек для визуализации в природных водах». Optics Express . 16 (13): 9958– 9965. Bibcode : 2008OExpr..16.9958H. doi : 10.1364/OE.16.009958 . PMID 18575566.
^ Скеттини, Раймондо; Корчс, Сильвия (2010). «Подводная обработка изображений: современные методы улучшения изображений». Журнал EURASIP о достижениях в обработке сигналов . 2010 : 14. doi : 10.1155/2010/746052 .
^ Аккайнак, Дерья и Тали Трейбиц. «Sea-Thru: метод удаления воды с подводных изображений». Труды конференции IEEE по компьютерному зрению и распознаванию образов. 2019.
^ Икбал, К.; Одетайо, М.; Джеймс, А.; Салам, Р.А. «Улучшение изображений низкого качества с использованием методов неконтролируемой цветокоррекции» (PDF) . Системный человек и кибернетика .^{[ мертвая ссылка ‍ ]}
^ Миньотт, М.; Колле, К. (2000). «Марковское случайное поле и моделирование на основе нечеткой логики в гидролокационных изображениях». Компьютерное зрение и понимание изображений . 79 : 4–24 . CiteSeerX 10.1.1.38.4225 . doi :10.1006/cviu.2000.0844.
^ Cervenka, Pierre; de Moustier, Christian (1993). «Методы обработки изображений с помощью гидролокатора бокового обзора». IEEE Journal of Oceanic Engineering . 18 (2): 108. Bibcode : 1993IJOE...18..108C. doi : 10.1109/48.219531.
^ Trucco, E.; Petillot, YR; Tena Ruiz, I. (2000). «Отслеживание особенностей в подводных видео- и гидролокационных последовательностях с приложениями». Computer Vision and Image Understanding . 79 : 92– 122. doi :10.1006/cviu.2000.0846.

[1] Хорган, Джонатан; Тоал, Дэниел (2009). «Применение компьютерного зрения в навигации беспилотных подводных аппаратов». Подводные аппараты . doi :10.5772/6703. ISBN 978-953-7619-49-7. S2CID 2940888.

[2] Мартин Эдж и Ян Тернер (1999). Подводный фотограф. Focal Press. ISBN 0-240-51581-1. Архивировано из оригинала 2023-10-22 . Получено 2024-07-24 .

[3] "Цвет под водой". Deep-six.com . Архивировано из оригинала 23 июля 2024 . Получено 23 июля 2024 .

[Hegde2009-4] Хегде, М. (30 сентября 2009 г.). «Синий, более синий и самый синий океан». NASA Goddard Earth Sciences Data and Information Services. Архивировано из оригинала 12 июля 2009 г. Получено 27 мая 2011 г.

[5] Y. Шехнер, Йоав; Карпель, Нир. «Четкое подводное зрение». Proc. Computer Vision & Pattern Recognition . I : 536–543 .

[6] Хоу, Вейлин; Дж. Грей, Дерик; Вайдеманн, Алан Д.; А. Арноне, Роберт (2008). «Сравнение и проверка моделей рассеяния точек для визуализации в природных водах». Optics Express . 16 (13): 9958– 9965. Bibcode : 2008OExpr..16.9958H. doi : 10.1364/OE.16.009958 . PMID 18575566.

[7] Скеттини, Раймондо; Корчс, Сильвия (2010). «Подводная обработка изображений: современные методы улучшения изображений». Журнал EURASIP о достижениях в обработке сигналов . 2010 : 14. doi : 10.1155/2010/746052 .

[8] Аккайнак, Дерья и Тали Трейбиц. «Sea-Thru: метод удаления воды с подводных изображений». Труды конференции IEEE по компьютерному зрению и распознаванию образов. 2019.

[9] Икбал, К.; Одетайо, М.; Джеймс, А.; Салам, Р.А. «Улучшение изображений низкого качества с использованием методов неконтролируемой цветокоррекции» (PDF) . Системный человек и кибернетика .^{[ мертвая ссылка ‍ ]}

[10] Миньотт, М.; Колле, К. (2000). «Марковское случайное поле и моделирование на основе нечеткой логики в гидролокационных изображениях». Компьютерное зрение и понимание изображений . 79 : 4–24 . CiteSeerX 10.1.1.38.4225 . doi :10.1006/cviu.2000.0844.

[11] Cervenka, Pierre; de Moustier, Christian (1993). «Методы обработки изображений с помощью гидролокатора бокового обзора». IEEE Journal of Oceanic Engineering . 18 (2): 108. Bibcode : 1993IJOE...18..108C. doi : 10.1109/48.219531.

[12] Trucco, E.; Petillot, YR; Tena Ruiz, I. (2000). «Отслеживание особенностей в подводных видео- и гидролокационных последовательностях с приложениями». Computer Vision and Image Understanding . 79 : 92– 122. doi :10.1006/cviu.2000.0846.