Распознавание переднего плана

Обнаружение переднего плана — одна из основных задач в области компьютерного зрения и обработки изображений , целью которой является обнаружение изменений в последовательностях изображений. Вычитание фона — это любая техника, которая позволяет извлечь передний план изображения для дальнейшей обработки (распознавание объектов и т. д.).

Многим приложениям не нужно знать все об эволюции движения в видеопоследовательности, а требуется только информация об изменениях в сцене, поскольку области интереса изображения — это объекты (люди, автомобили, текст и т. д.) на переднем плане. После этапа предварительной обработки изображения (который может включать шумоподавление изображения , постобработку, такую ​​как морфология и т. д.) требуется локализация объекта, которая может использовать эту технику.

Обнаружение переднего плана отделяет передний план от заднего на основе этих изменений, происходящих на переднем плане. Это набор методов, которые обычно анализируют видеопоследовательности, записанные в реальном времени с помощью стационарной камеры.

Все методы обнаружения основаны на моделировании фона изображения, т. е. установке фона и обнаружении происходящих изменений. Определение фона может быть очень сложным, если он содержит формы, тени и движущиеся объекты. При определении фона предполагается, что неподвижные объекты могут со временем менять цвет и интенсивность.

Сценарии, в которых применяются эти методы, как правило, очень разнообразны. Могут быть очень изменчивые последовательности, такие как изображения с очень разным освещением, интерьерами, экстерьерами, качеством и шумом. Помимо обработки в реальном времени, системы должны иметь возможность адаптироваться к этим изменениям.

Очень хорошая система обнаружения переднего плана должна уметь:

• Разработать фоновую (оценочную) модель.
• Будьте устойчивы к изменениям освещения, повторяющимся движениям (листья, волны, тени) и долгосрочным изменениям.

Вычитание фона — широко используемый подход для обнаружения движущихся объектов на видео со статических камер. Обоснованием подхода является обнаружение движущихся объектов по разнице между текущим кадром и опорным кадром, часто называемым «фоновым изображением» или «моделью фона». Вычитание фона в основном выполняется, если рассматриваемое изображение является частью видеопотока. Вычитание фона дает важные подсказки для многочисленных приложений в области компьютерного зрения, например, для отслеживания наблюдения или оценки позы человека . ^{[ необходима цитата ]}

Вычитание фона обычно основано на гипотезе статического фона, которая часто неприменима в реальных условиях. В сценах в помещении отражения или анимированные изображения на экранах приводят к изменению фона. Аналогично, из-за ветра, дождя или изменений освещенности, вызванных погодой, методы статического фона испытывают трудности с внешними сценами. ^[1]

Временной усредняющий фильтр — это метод, предложенный в Velastin. Эта система оценивает фоновую модель по медиане всех пикселей ряда предыдущих изображений. Система использует буфер со значениями пикселей последних кадров для обновления медианы для каждого изображения.

Для моделирования фона система проверяет все изображения в заданный период времени, называемый временем обучения . В это время мы только отображаем изображения и найдем медиану, пиксель за пикселем, всех графиков в фоновом режиме на этот раз.

После периода обучения для каждого нового кадра каждое значение пикселя сравнивается с входным значением фондов, рассчитанным ранее. Если входной пиксель находится в пределах порогового значения, пиксель считается соответствующим фоновой модели и его значение включается в pixbuf. В противном случае, если значение находится за пределами этого порогового значения, пиксель классифицируется как передний план и не включается в буфер.

Этот метод нельзя считать очень эффективным, поскольку он не предоставляет строгой статистической основы и требует буфера, имеющего высокую вычислительную стоимость.

Надежный алгоритм вычитания фона должен быть в состоянии обрабатывать изменения освещения, повторяющиеся движения из-за помех и долгосрочные изменения сцены. ^[2] В следующем анализе используется функция V ( x , y , t ) как видеопоследовательность, где t — это временное измерение, x и y — переменные местоположения пикселей. Например, V (1,2,3) — это интенсивность пикселя в местоположении пикселя (1,2) изображения при t  = 3 в видеопоследовательности.

Алгоритм обнаружения движения начинается с сегментационной части, где передний план или движущиеся объекты сегментируются от фона. Самый простой способ реализовать это — взять изображение в качестве фона и сравнить полученные в момент времени t кадры, обозначенные как I(t), с фоновым изображением, обозначенным как B. Здесь, используя простые арифметические вычисления, мы можем сегментировать объекты, просто используя технику вычитания изображений компьютерного зрения, то есть для каждого пикселя в I(t) взять значение пикселя, обозначенное как P[I(t)], и вычесть его с соответствующими пикселями в той же позиции на фоновом изображении, обозначенном как P[B].

В математическом уравнении это записывается так:

${\displaystyle P[F(t)]=P[I(t)]-P[B]}$

Предполагается, что фоном является кадр в момент времени t . Это разностное изображение покажет лишь некоторую интенсивность для местоположений пикселей, которые изменились в двух кадрах. Хотя мы, по-видимому, удалили фон, этот подход будет работать только для случаев, когда все пиксели переднего плана движутся, а все пиксели фона статичны. ^[2] Порог «Threshold» накладывается на это разностное изображение для улучшения вычитания (см. Пороговая обработка изображения ):

${\displaystyle |P[F(t)]-P[F(t+1)]|>\mathrm {Порог} }$

Это означает, что интенсивности пикселей разностного изображения «порогируются» или фильтруются на основе значения Threshold. ^[3] Точность этого подхода зависит от скорости движения в сцене. Более быстрые движения могут потребовать более высоких порогов.

Для расчета изображения, содержащего только фон, усредняется ряд предыдущих изображений. Для расчета фонового изображения в момент времени  t:

${\displaystyle B(x,y,t)={1 \over N}\sum _{i=1}^{N}V(x,y,t-i)}$

где N — количество предыдущих изображений, взятых для усреднения. Это усреднение относится к усреднению соответствующих пикселей в данных изображениях. N будет зависеть от скорости видео (количества изображений в секунду в видео) и количества движения в видео. ^[4] После вычисления фона B ( x , y , t ) мы можем вычесть его из изображения V ( x , y , t ) в момент времени t  = t и установить для него порог. Таким образом, передний план равен:

${\displaystyle |V(x,y,t)-B(x,y,t)|>\mathrm {Th} }$

где Th — пороговое значение. Аналогично, мы также можем использовать медиану вместо среднего в приведенном выше расчете B ( x , y , t ).

Использование глобальных и независимых от времени пороговых значений (одинаковое значение Th для всех пикселей изображения) может ограничить точность двух вышеуказанных подходов. ^[2]

Для этого метода Врен и др. ^[5] предлагают подгонку гауссовой вероятностной функции плотности (pdf) на самых последних кадрах. Чтобы избежать подгонки pdf с нуля в каждом новом времени кадра , вычисляется скользящее (или кумулятивное) среднее.${\displaystyle n}$${\displaystyle t}$

PDF каждого пикселя характеризуется средним значением и дисперсией . Ниже приведено возможное начальное состояние (предполагая, что изначально каждый пиксель является фоном):${\displaystyle \mu _{t}}$ ${\displaystyle \sigma _{t}^{2}}$

${\displaystyle \mu _{0}=I_{0}}$

${\displaystyle \sigma _{0}^{2}=\langle {\text{some default value}}\rangle }$

где — значение интенсивности пикселя в момент времени . Чтобы инициализировать дисперсию, мы можем, например, использовать дисперсию по x и y из небольшого окна вокруг каждого пикселя.${\displaystyle I_{t}}$${\displaystyle t}$

Обратите внимание, что фон может меняться со временем (например, из-за изменений освещения или нестатичных фоновых объектов). Чтобы учесть это изменение, в каждом кадре среднее значение и дисперсия каждого пикселя должны обновляться следующим образом:${\displaystyle t}$

${\displaystyle \mu _{t}=\rho I_{t}+(1-\rho )\mu _{t-1}}$

${\displaystyle \sigma _{t}^{2}=d^{2}\rho +(1-\rho )\sigma _{t-1}^{2}}$

${\displaystyle d=|(I_{t}-\mu _{t})|}$

Где определяет размер временного окна, которое используется для подгонки PDF (обычно ), а — евклидово расстояние между средним значением и значением пикселя.${\displaystyle \rho }$${\displaystyle \rho =0.01}$${\displaystyle d}$

Теперь мы можем классифицировать пиксель как фон, если его текущая интенсивность лежит в пределах некоторого доверительного интервала его среднего значения распределения:

${\displaystyle {\frac {|(I_{t}-\mu _{t})|}{\sigma _{t}}}>k\longrightarrow {\text{foreground}}}$

${\displaystyle {\frac {|(I_{t}-\mu _{t})|}{\sigma _{t}}}\leq k\longrightarrow {\text{background}}}$

где параметр — это свободный порог (обычно ). Большее значение допускает более динамичный фон, тогда как меньшее увеличивает вероятность перехода от фона к переднему плану из-за более тонких изменений.${\displaystyle k}$${\displaystyle k=2.5}$${\displaystyle k}$${\displaystyle k}$

В варианте метода распределение пикселей обновляется только в том случае, если оно классифицируется как фон. Это делается для того, чтобы предотвратить исчезновение вновь вводимых объектов переднего плана в фон. Формула обновления для среднего значения изменяется соответствующим образом:

${\displaystyle \mu _{t}=M\mu _{t-1}+(1-M)(I_{t}\rho +(1-\rho )\mu _{t-1})}$

где when считается передним планом, а в противном случае. Так что when , то есть когда пиксель определяется как передний план, среднее значение останется прежним. В результате пиксель, как только он стал передним планом, может снова стать фоном только тогда, когда значение интенсивности приблизится к тому, что было до того, как он стал передним планом. Однако этот метод имеет несколько проблем: он работает только в том случае, если все пиксели изначально являются фоновыми пикселями (или пиксели переднего плана помечены как таковые). Кроме того, он не может справиться с постепенными изменениями фона: если пиксель классифицируется как передний план в течение слишком длительного периода времени, интенсивность фона в этом месте могла измениться (из-за изменения освещения и т. д.). В результате, как только объект переднего плана исчезнет, ​​новая интенсивность фона может больше не распознаваться как таковая.${\displaystyle M=1}$${\displaystyle I_{t}}$${\displaystyle M=0}$${\displaystyle M=1}$

Метод смеси гауссианов подходит, моделируя каждый пиксель как смесь гауссианов и используя онлайн-аппроксимацию для обновления модели. В этой технике предполагается, что значения интенсивности каждого пикселя в видео могут быть смоделированы с использованием модели смеси гауссовых распределений . ^[6] Простая эвристика определяет, какие интенсивности, скорее всего, принадлежат фону. Затем пиксели, которые им не соответствуют, называются пикселями переднего плана. Пиксели переднего плана группируются с использованием анализа 2D- связанных компонентов . ^[6]

В любой момент времени t история конкретного пикселя ( ) выглядит следующим образом:${\displaystyle x_{0},y_{0}}$

${\displaystyle X_{1},\ldots ,X_{t}=\{V(x_{0},y_{0},i):1\leqslant i\leqslant t\}}$

Эта история моделируется смесью K гауссовых распределений:

${\displaystyle P(X_{t})=\sum _{i=1}^{K}\omega _{i,t}N\left(X_{t}\mid \mu _{i,t},\sigma _{i,t}\right)}$

где:

${\displaystyle N\left(X_{t}\mid \mu _{i,t},\sigma _{i,t}\right)={\dfrac {1}{(2\pi )^{D/2}}}{1 \over |\sigma _{i,t}|^{1/2}}\exp \left(-{1 \over 2}(X_{t}-\mu _{i,t})^{T}\sigma _{i,t}^{-1}\left(X_{t}-\mu _{i,t}\right)\right)}$

Сначала каждый пиксель характеризуется своей интенсивностью в цветовом пространстве RGB. Затем вероятность наблюдения текущего пикселя определяется следующей формулой в многомерном случае:

${\displaystyle P(X_{t})=\sum _{i=1}^{K}\omega _{i,t}\eta \left(X_{t},\,\mu _{i,t},\sigma _{i,t}\right)}$

Где K — число распределений, ω — вес, связанный с i-м гауссовым распределением в момент времени t, а μ, Σ — среднее значение и стандартное отклонение указанного гауссового распределения соответственно.

${\displaystyle \eta \left(X_{t},\,\mu _{i,t},\sigma _{i,t}\right)={\dfrac {1}{(2\pi )^{D/2}}}{1 \over |\sigma _{i,t}|^{1/2}}\exp \left(-{1 \over 2}(X_{t}-\mu _{i,t})^{T}\sigma _{i,t}^{-1}\left(X_{t}-\mu _{i,t}\right)\right)}$

После инициализации параметров можно выполнить первое обнаружение переднего плана, а затем обновить параметры. Первое распределение Гаусса B, которое превышает пороговое значение T, сохраняется для фонового распределения:

${\displaystyle B=\operatorname {argmin} \left(\Sigma _{i=1}^{B}\omega _{i,t}>T\right)}$

Другие распределения считаются представляющими распределение переднего плана. Затем, когда новый кадр поступает в моменты времени , выполняется проверка соответствия каждого пикселя. Пиксель соответствует гауссовскому распределению, если расстояние Махаланобиса :${\displaystyle t+1}$

${\displaystyle \left(\left(X_{t+1}-\mu _{i,t}\right)^{T}\sigma _{i,t}^{-1}\left(X_{t+1}-\mu _{i,t}\right)\right)^{0.5}<k\cdot \sigma _{i,t}}$

где k — постоянный порог, равный . Тогда могут возникнуть два случая:${\displaystyle 2.5}$

Случай 1: Соответствие найдено с одним из k гауссианов. Для сопоставленного компонента обновление выполняется следующим образом: ^[7]

${\displaystyle \sigma _{i,t+1}^{2}=\left(1-\rho \right)\sigma _{i,t}^{2}+\rho \left(X_{x+1}-\mu _{x+1}\right)\left(X_{x+1}-\mu _{x+1}\right)^{T}}$

Пауэр и Шоуни [3] использовали тот же алгоритм для сегментации переднего плана изображения:

${\displaystyle \sigma _{i,t+1}=\left(1-\alpha \right)\omega _{i,t}+\alpha P\left(k\mid X_{t},\varphi \right)}$

Существенное приближение к дается выражением : ^[8]${\displaystyle P\left(k\mid \ X_{t},\varphi \right)}$${\displaystyle M_{k,t}}$

${\displaystyle M_{k,t}={\begin{cases}1&{\text{match}},\\0&{\text{otherwise}}.\end{cases}}}$

Случай 2: Не найдено совпадений ни с одним из гауссианов. В этом случае наименее вероятное распределение заменяется новым с параметрами:${\displaystyle K}$${\displaystyle K}$

${\displaystyle k_{i.t}={\text{low prior weight}}}$

${\displaystyle \mu _{i,t+1}=X_{t+1}}$

${\displaystyle \sigma _{i.t+1}^{2}={\text{large initial variance}}}$

После того, как выполнено обслуживание параметров, можно выполнить обнаружение переднего плана и т. д. Для обновления гауссианов используется онлайновая аппроксимация K-средних . Было предложено множество улучшений этого оригинального метода, разработанного Штауффером и Гримсоном ^{[6] , а полный обзор можно найти в работе Боуманса и др. [7].} Стандартный метод адаптивного фонового усреднения заключается в усреднении изображений с течением времени, создавая аппроксимацию фона, которая похожа на текущую статическую сцену, за исключением случаев, когда происходит движение.

Несколько опросов, касающихся категорий или подкатегорий моделей, можно найти ниже:

• Вычитание фона MOG ^[7]
• Подпространственное обучение вычитанию фона ^[9]
• Статистическое вычитание фона ^{[10] [11]}
• Вычитание нечеткого фона ^[12]
• Вычитание фона RPCA ^[13] ( более подробную информацию см. в разделе Надежный анализ главных компонент )
• Динамический RPCA для разделения фона и переднего плана ^[14] ( более подробную информацию см. в разделе Надежный анализ главных компонент )
• Разложение на матрицы низкого ранга плюс аддитивные матрицы для разделения фона/переднего плана ^[15]
• Концепции глубоких нейронных сетей для вычитания фона ^[16]
• Традиционные и современные подходы к вычитанию фона ^{[17] [18]}

• Видеонаблюдение
• Оптический захват движения
• Взаимодействие человека с компьютером
• Контент-ориентированное кодирование видео
• Мониторинг трафика
• Распознавание жестов движения в реальном времени

Более подробную информацию см. ^[19]

• Получение 3D-данных и реконструкция объектов
• Гауссова адаптация
• Регион интереса
• Алгоритм Текномо–Фернандеса
• Атмосфера

В литературе можно найти несколько сравнительных/оценочных работ:

• А. Собрал, А. Вакавант. «Всесторонний обзор алгоритмов вычитания фона, оцененных с помощью синтетических и реальных видео ^{[ нерабочая ссылка ‍ ]} ». Компьютерное зрение и понимание изображений, CVIU 2014, 2014.
• А. Шахбаз, Дж. Харийоно, К. Джо, «Оценка алгоритмов вычитания фона для видеонаблюдения», FCV 2015, 2015.
• Y. Xu, J. Dong, B. Zhang, D. Xu, «Методы фонового моделирования в видеоанализе: обзор и сравнительная оценка», CAAI Transactions on Intelligence Technology, страницы 43–60, том 1, выпуск 1, январь 2016 г.

• T. Bouwmans, F. Porikli, B. Horferlin, A. Vacavant, Справочник «Моделирование фона и обнаружение переднего плана для видеонаблюдения: традиционные и современные подходы, реализации, сравнительный анализ и оценка» , CRC Press, Taylor and Francis Group, июнь 2014 г. (Дополнительная информация: http://www.crcpress.com/product/isbn/9781482205374)
• T. Bouwmans, N. Aybat и E. Zahzah. Справочник по надежному разложению низкоранговых и разреженных матриц: применение в обработке изображений и видео , CRC Press, Taylor and Francis Group, май 2016 г. (Более подробная информация: http://www.crcpress.com/product/isbn/9781498724623)

• T. Bouwmans, L. Davis, J. Gonzalez, M. Piccardi, C. Shan, Специальный выпуск «Моделирование фона для обнаружения переднего плана в реальных динамических сценах», Специальный выпуск в Machine Vision and Applications , июль 2014 г.
• А. Вакаван, Л. Тунь, Т. Шато, Специальный раздел «Сравнение фоновых моделей», Компьютерное зрение и понимание изображений , CVIU 2014, май 2014 г.
• А. Петросино, Л. Маддалена, Т. Боуманс, Специальный выпуск «Моделирование и инициализация фона сцены», Pattern Recognition Letters , сентябрь 2017 г.
• Т. Боуманс, Специальный выпуск «Обнаружение движущихся объектов», MDPI Journal of Imaging, 2018.

• Семинар по фоновому обучению обнаружению и отслеживанию с помощью видео RGB (RGBD 2017) совместно с ICIAP 2017. (Дополнительная информация: http://rgbd2017.na.icar.cnr.it/)
• Семинар по моделированию и инициализации фона сцены (SBMI 2015) совместно с ICIAP 2015. (Дополнительная информация: http://sbmi2015.na.icar.cnr.it/)
• Семинар IEEE Change Detection в сотрудничестве с CVPR 2014. (Дополнительная информация: http://www.changedetection.net/)
• Семинар по проблемам фоновых моделей (BMC 2012) совместно с ACCV 2012. (Дополнительная информация: http://bmc.iut-auvergne.com/)

• Конкурс IEEE Scene Background Modeling Contest (SBMC 2016) совместно с ICPR 2016 (для получения дополнительной информации: http://pione.dinf.usherbrooke.ca/sbmc2016/ Архивировано 10 августа 2019 г. на Wayback Machine )

• Вычитание фона Р. Венкатеша Бабу
• Сегментация и отслеживание переднего плана на основе методов моделирования переднего плана и фона Жауме Гальего
• Обнаружение и извлечение авиационных эпизодов из видео Марка Гарсиа и Рамиса

• Сайт по вычитанию фона

Веб-сайт Background Subtraction (Т. Боуманс, Университет Ла-Рошель, Франция) содержит полный список литературы в этой области, а также ссылки на доступные наборы данных и программное обеспечение.

• ChangeDetection.net (Более подробная информация: http://www.changedetection.net/)
• Конкурс фоновых моделей (для получения дополнительной информации: http://bmc.iut-auvergne.com/)
• Набор данных по вычитанию искусственного фона в Штутгарте (для получения дополнительной информации: http://www.vis.uni-stuttgart.de/index.php?id=sabs Архивировано 27.03.2015 на Wayback Machine )
• Набор данных SBMI (для получения дополнительной информации: http://sbmi2015.na.icar.cnr.it/)
• Набор данных SBMnet (для получения дополнительной информации: http://pione.dinf.usherbrooke.ca/dataset/ Архивировано 31 октября 2018 г. на Wayback Machine )

• BackgroundSubtractorCNT

Библиотека BackgroundSubtractorCNT реализует очень быстрый и качественный алгоритм, написанный на C++ на основе OpenCV. Он ориентирован на оборудование с низкими характеристиками, но работает так же быстро на современных Linux и Windows. (Более подробная информация: https://github.com/sagi-z/BackgroundSubtractorCNT).

• Библиотека БГС

Библиотека BGS (A. Sobral, Univ. La Rochelle, France) предоставляет фреймворк C++ для выполнения алгоритмов вычитания фона. Код работает как на Windows, так и на Linux. В настоящее время библиотека предлагает более 30 алгоритмов BGS. (Более подробная информация: https://github.com/andrewssobral/bgslibrary)

• Библиотека LRS – низкоранговые и разреженные инструменты для моделирования и вычитания фона в видео LRSLibrary (A. Sobral, Univ. La Rochelle, France) предоставляет набор низкоранговых и разреженных алгоритмов разложения в MATLAB. Библиотека была разработана для сегментации движения в видео, но ее также можно использовать или адаптировать для других задач компьютерного зрения. В настоящее время LRSLibrary содержит более 100 алгоритмов на основе матриц и тензоров. (Более подробная информация: https://github.com/andrewssobral/lrslibrary)
• OpenCV – библиотека OpenCV предоставляет ряд алгоритмов сегментации фона/переднего плана.