Детектор аффинной области Харриса

В области компьютерного зрения и анализа изображений детектор аффинных областей Харриса относится к категории обнаружения признаков . Обнаружение признаков — это этап предварительной обработки нескольких алгоритмов, которые полагаются на идентификацию характерных точек или точек интереса для установления соответствий между изображениями, распознавания текстур, категоризации объектов или построения панорам.

Аффинный детектор Харриса может определять схожие области между изображениями, которые связаны посредством аффинных преобразований и имеют разное освещение. Эти аффинно-инвариантные детекторы должны быть способны определять схожие области на изображениях, снятых с разных точек зрения, которые связаны посредством простого геометрического преобразования: масштабирования, поворота и сдвига. Эти обнаруженные области называются как инвариантными , так и ковариантными . С одной стороны, области обнаруживаются инвариантно относительно преобразования изображения, но области ковариантно изменяются с преобразованием изображения. ^[1] Не стоит слишком подробно останавливаться на этих двух соглашениях об именовании; важно понимать, что конструкция этих точек интереса сделает их совместимыми между изображениями, снятыми с разных точек зрения. Другие детекторы, которые являются аффинно-инвариантными, включают детектор аффинных областей Гессе , максимально стабильные экстремальные области , детектор заметности Кадира–Брейди , области на основе ребер (EBR) и области на основе экстремумов интенсивности (IBR).

Миколайчик и Шмид (2002) впервые описали аффинный детектор Харриса в том виде, в котором он используется сегодня, в работе An Affine Invariant Interest Point Detector. ^[2] Более ранние работы в этом направлении включают использование аффинной адаптации формы Линдебергом и Гардингом для вычисления аффинно-инвариантных дескрипторов изображения и, таким образом, уменьшения влияния перспективных деформаций изображения, ^[3] использование аффинно-адаптированных характерных точек для широкого сопоставления базовой линии Баумбергом ^[4] и первое использование масштабно-инвариантных характерных точек Линдебергом; ^{[5] [6] [7]} для обзора теоретической основы. Аффинный детектор Харриса опирается на комбинацию угловых точек, обнаруженных с помощью обнаружения углов Харриса , многомасштабного анализа с помощью гауссова масштабного пространства и аффинной нормализации с использованием итеративного алгоритма аффинной адаптации формы . Рекурсивный и итеративный алгоритм следует итеративному подходу к обнаружению этих областей:

1. Определите начальные точки области с помощью масштабно-инвариантного детектора Харриса-Лапласа .
2. Для каждой начальной точки нормализуем область, сделав ее аффинно-инвариантной, используя аффинную адаптацию формы .
3. Итеративно оценить аффинную область: выбрать правильную шкалу интегрирования, шкалу дифференциации и пространственно локализовать интересующие точки.
4. Обновите аффинную область, используя эти масштабы и пространственные локализации.
5. Повторите шаг 3, если критерий остановки не выполнен.

Аффинный детектор Харриса в значительной степени опирается как на меру Харриса, так и на представление гауссова масштабного пространства . Поэтому краткое рассмотрение обоих следует ниже. Для более исчерпывающих выводов см. обнаружение углов и гауссово масштабное пространство или связанные с ними статьи. ^{[6] [8]}

Алгоритм детектора углов Харриса основан на центральном принципе: в углу интенсивность изображения будет значительно меняться в нескольких направлениях. Это можно сформулировать альтернативно, изучив изменения интенсивности из-за сдвигов в локальном окне. Вокруг угловой точки интенсивность изображения будет значительно меняться, когда окно сдвигается в произвольном направлении. Следуя этой интуиции и посредством умного разложения, детектор Харриса использует матрицу второго момента в качестве основы своих решений по углам. (См. обнаружение углов для более полного вывода). Матрица также называется матрицей автокорреляции и имеет значения, тесно связанные с производными интенсивности изображения .${\displaystyle A}$

${\displaystyle A(\mathbf {x} )=\sum _{p,q}w(p,q){\begin{bmatrix}I_{x}^{2}(p,q)&I_{x}I_{y}(p,q)\\I_{x}I_{y}(p,q)&I_{y}^{2}(p,q)\\\end{bmatrix}}}$

где и — соответствующие производные (интенсивности пикселя) в направлении и в точке ( , ); и — параметры положения весовой функции w. Недиагональные элементы являются произведением и , тогда как диагональные элементы являются квадратами соответствующих производных . Весовая функция может быть однородной, но чаще всего является изотропной круговой гауссовой,${\displaystyle I_{x}}$${\displaystyle I_{y}}$${\displaystyle x}$${\displaystyle y}$${\displaystyle p}$${\displaystyle q}$${\displaystyle p}$${\displaystyle q}$${\displaystyle I_{x}}$${\displaystyle I_{y}}$${\displaystyle w(x,y)}$

${\displaystyle w(x,y)=g(x,y,\sigma )={\frac {1}{2\pi \sigma ^{2}}}e^{\left(-{\frac {x^{2}+y^{2}}{2\sigma ^{2}}}\right)}}$

который усредняет данные в локальном регионе, при этом значения вблизи центра взвешиваются сильнее.

Как оказалось, эта матрица описывает форму меры автокорреляции как следствие сдвигов в расположении окна. Таким образом, если мы позволим и быть собственными значениями , то эти значения дадут количественное описание того, как мера автокорреляции изменяется в пространстве: ее главные кривизны. Как указывают Харрис и Стивенс (1988), матрица, центрированная на угловых точках, будет иметь два больших положительных собственных значения. ^[8] Вместо того, чтобы извлекать эти собственные значения с помощью таких методов, как разложение по сингулярным значениям, используется мера Харриса, основанная на следе и определителе:${\displaystyle A}$${\displaystyle \lambda _{1}}$${\displaystyle \lambda _{2}}$${\displaystyle A}$${\displaystyle A}$

${\displaystyle R=\det(A)-\alpha \operatorname {trace} ^{2}(A)=\lambda _{1}\lambda _{2}-\alpha (\lambda _{1}+\lambda _{2})^{2}}$

где — константа. Угловые точки имеют большие положительные собственные значения и, таким образом, будут иметь большую меру Харриса. Таким образом, угловые точки определяются как локальные максимумы меры Харриса, которые превышают указанный порог.${\displaystyle \alpha }$

${\displaystyle {\begin{aligned}\{x_{c}\}={\big \{}x_{c}\mid R(x_{c})>R(x_{i}),\forall x_{i}\in W(x_{c}){\big \}},\\R(x_{c})>t_{\text{threshold}}\end{aligned}}}$

где — множество всех угловых точек, — мера Харриса, вычисленная при , — набор из 8 соседей, центрированный на , — заданный порог.${\displaystyle \{x_{c}\}}$${\displaystyle R(x)}$${\displaystyle x}$${\displaystyle W(x_{c})}$${\displaystyle x_{c}}$${\displaystyle t_{\text{threshold}}}$

Представление изображения в масштабном пространстве Гаусса — это набор изображений, которые получаются в результате свертки гауссовского ядра различных размеров с исходным изображением. В общем случае представление можно сформулировать следующим образом:

${\displaystyle L(\mathbf {x} ,s)=G(s)\otimes I(\mathbf {x} )}$

где — изотропное, круговое гауссово ядро, как определено выше. Свертка с гауссовым ядром сглаживает изображение, используя окно размером с ядро. Больший масштаб, , соответствует более гладкому результирующему изображению. Миколайчик и Шмид (2001) отмечают, что производные и другие измерения должны быть нормализованы по масштабам. ^[9] Производная порядка , , должна быть нормализована с помощью фактора следующим образом:${\displaystyle G(s)}$${\displaystyle s}$${\displaystyle m}$${\displaystyle D_{i_{1},...i_{m}}}$${\displaystyle s^{m}}$

${\displaystyle D_{i_{1},\dots ,i_{m}}(\mathbf {x} ,s)=s^{m}L_{i_{1},\dots ,i_{m}}(\mathbf {x} ,s)}$

Эти производные или любая произвольная мера могут быть адаптированы к представлению масштабного пространства путем вычисления этой меры с использованием набора масштабов рекурсивно, где масштаб th равен . См. масштабное пространство для более полного описания.${\displaystyle n}$${\displaystyle s_{n}=k^{n}s_{0}}$

Детектор Харриса–Лапласа объединяет традиционный 2D детектор углов Харриса с идеей представления гауссовского масштабного пространства для создания масштабно-инвариантного детектора. Точки углов Харриса являются хорошими отправными точками, поскольку, как было показано, они обладают хорошей инвариантностью вращения и освещения в дополнение к идентификации интересных точек изображения. ^[10] Однако точки не являются масштабно-инвариантными, и, таким образом, матрица второго момента должна быть изменена для отражения масштабно-инвариантного свойства. Обозначим как масштабно-адаптированную матрицу второго момента, используемую в детекторе Харриса–Лапласа.${\displaystyle M=\mu (\mathbf {x} ,\sigma _{\mathit {I}},\sigma _{\mathit {D}})}$

${\displaystyle M=\mu (\mathbf {x} ,\sigma _{\mathit {I}},\sigma _{\mathit {D}})=\sigma _{D}^{2}g(\sigma _{I})\otimes {\begin{bmatrix}L_{x}^{2}(\mathbf {x} ,\sigma _{D})&L_{x}L_{y}(\mathbf {x} ,\sigma _{D})\\L_{x}L_{y}(\mathbf {x} ,\sigma _{D})&L_{y}^{2}(\mathbf {x} ,\sigma _{D})\end{bmatrix}}}$^[11]

где — гауссово ядро ​​масштаба и . Подобно пространству гауссовых масштабов, — гауссово сглаженное изображение. Оператор обозначает свертку. и — производные в соответствующем направлении, примененные к сглаженному изображению и вычисленные с использованием гауссова ядра с масштабом . В терминах нашей структуры гауссовского масштабного пространства параметр определяет текущий масштаб, в котором обнаруживаются угловые точки Харриса.${\displaystyle g(\sigma _{I})}$${\displaystyle \sigma _{I}}$${\displaystyle \mathbf {x} =(x,y)}$${\displaystyle L(\mathbf {x} )}$${\displaystyle \mathbf {\otimes } }$${\displaystyle L_{x}(\mathbf {x} ,\sigma _{D})}$${\displaystyle L_{y}(\mathbf {x} ,\sigma _{D})}$${\displaystyle \sigma _{D}}$${\displaystyle \sigma _{I}}$

Детектор Харриса-Лапласа , основанный на этой адаптированной к масштабу матрице второго момента, представляет собой двойной процесс: применение углового детектора Харриса в нескольких масштабах и автоматический выбор характерного масштаба .

Алгоритм ищет по фиксированному числу предопределенных шкал. Этот набор шкал определяется как:

${\displaystyle {\sigma _{1}\dots \sigma _{n}}={k^{1}\sigma _{0}\dots k^{n}\sigma _{0}}}$

Миколайчик и Шмид (2004) используют . Для каждой шкалы интеграции, , выбранной из этого набора, выбирается соответствующая шкала дифференциации, которая является постоянным множителем шкалы интеграции: . Миколайчик и Шмид (2004) использовали . ^[11] Используя эти шкалы, точки интереса обнаруживаются с помощью меры Харриса на матрице. Угловость, как и типичная мера Харриса, определяется как:${\displaystyle k=1.4}$${\displaystyle \sigma _{I}}$${\displaystyle \sigma _{D}=s\sigma _{I}}$${\displaystyle s=0.7}$${\displaystyle \mu (\mathbf {x} ,\sigma _{\mathit {I}},\sigma _{\mathit {D}})}$

${\displaystyle {\mathit {cornerness}}=\det(\mu (\mathbf {x} ,\sigma _{\mathit {I}},\sigma _{\mathit {D}}))-\alpha \operatorname {trace} ^{2}(\mu (\mathbf {x} ,\sigma _{\mathit {I}},\sigma _{\mathit {D}}))}$

Как и в традиционном детекторе Харриса, угловые точки — это локальные (в районе 8 точек) максимумы угловатости , которые превышают заданный порог.

Итеративный алгоритм, основанный на Линдеберге (1998), как пространственно локализует угловые точки, так и выбирает характерный масштаб . ^[6] Итеративный поиск состоит из трех ключевых шагов, которые выполняются для каждой точки , которая была первоначально обнаружена в масштабе многомасштабным детектором Харриса ( указывает итерацию):${\displaystyle \mathbf {x} }$${\displaystyle \sigma _{I}}$${\displaystyle k}$${\displaystyle kth}$

• Выберите масштаб , который максимизирует Лапласиан Гауссовых функций (LoG) в предопределенном диапазоне соседних масштабов.${\displaystyle \sigma _{I}^{(k+1)}}$ Соседние масштабы обычно выбираются из диапазона, который находится в пределах двухмасштабной окрестностей. То есть, если исходные точки были обнаружены с использованием масштабного коэффициента между последовательными масштабами, двухмасштабная окрестность — это диапазон . Таким образом, рассматриваемые гауссовы масштабы: . Измерение LoG определяется как:${\displaystyle 1.4}$${\displaystyle t\in [0.7,\dots ,1.4]}$${\displaystyle \sigma _{I}^{(k+1)}=t\sigma _{I}^{k}}$

${\displaystyle |\operatorname {LoG} (\mathbf {x} ,\sigma _{I})|=\sigma _{I}^{2}\left|L_{xx}(\mathbf {x} ,\sigma _{I})+L_{yy}(\mathbf {x} ,\sigma _{I})\right|}$

где и — вторые производные в соответствующих направлениях. ^[12] Фактор (как обсуждалось выше в гауссовом масштабном пространстве) используется для нормализации LoG по масштабам и делает эти меры сопоставимыми, тем самым делая максимум релевантным. Миколайчик и Шмид (2001) демонстрируют, что мера LoG достигает самого высокого процента правильно обнаруженных угловых точек по сравнению с другими мерами выбора масштаба. ^[9] Масштаб, который максимизирует эту меру LoG в двух масштабных пространственных окрестностях, считается характерным масштабом , , и используется в последующих итерациях. Если экстремумы или максимумы LoG не найдены, эта точка отбрасывается из будущих поисков.${\displaystyle L_{xx}}$${\displaystyle L_{yy}}$${\displaystyle \sigma _{I}^{2}}$${\displaystyle \sigma _{I}^{(k+1)}}$

• Используя характеристическую шкалу, точки пространственно локализуются. То есть, точка выбирается таким образом, чтобы она максимизировала угловую меру Харриса ( угловость, как определено выше) в пределах локальной окрестности 8×8.${\displaystyle \mathbf {x} ^{(k+1)}}$
• Критерий остановки : и .${\displaystyle \sigma _{I}^{(k+1)}==\sigma _{I}^{(k)}}$${\displaystyle \mathbf {x} ^{(k+1)}==\mathbf {x} ^{(k)}}$

Если критерий остановки не выполняется, то алгоритм повторяется с шага 1, используя новые точки и масштаб. Когда критерий остановки выполняется, найденные точки представляют собой те, которые максимизируют LoG по масштабам (выбор масштаба) и максимизируют меру угла Харриса в локальной окрестности (пространственный выбор).${\displaystyle k+1}$

Точки, обнаруженные Харрисом–Лапласом, масштабно инвариантны и хорошо работают для изотропных областей, которые просматриваются с одного и того же угла зрения. Чтобы быть инвариантными к произвольным аффинным преобразованиям (и точкам зрения), математическая структура должна быть пересмотрена. Матрица второго момента определяется более обобщенно для анизотропных областей:${\displaystyle \mathbf {\mu } }$

${\displaystyle \mu (\mathbf {x} ,\Sigma _{I},\Sigma _{D})=\det(\Sigma _{D})g(\Sigma _{I})*(\nabla L(\mathbf {x} ,\Sigma _{D})\nabla L(\mathbf {x} ,\Sigma _{D})^{T})}$

где и — матрицы ковариации, определяющие масштабы дифференциации и интегрирования гауссовского ядра. Хотя это может выглядеть существенно отличающимся от матрицы второго момента в детекторе Харриса–Лапласа, на самом деле это идентично. Более ранняя матрица была 2D-изотропной версией, в которой матрицы ковариации и были единичными матрицами 2x2, умноженными на множители и , соответственно. В новой формулировке можно рассматривать гауссовы ядра как многомерные гауссовские распределения в отличие от равномерного гауссова ядра. Равномерное гауссово ядро ​​можно рассматривать как изотропную круговую область. Аналогично, более общее гауссово ядро ​​определяет эллипсоид. Фактически, собственные векторы и собственные значения ковариационной матрицы определяют поворот и размер эллипсоида. Таким образом, мы можем легко увидеть, что это представление позволяет нам полностью определить произвольную эллиптическую аффинную область, по которой мы хотим интегрировать или дифференцировать.${\displaystyle \Sigma _{I}}$${\displaystyle \Sigma _{D}}$${\displaystyle \mu }$${\displaystyle \Sigma _{I}}$${\displaystyle \Sigma _{D}}$${\displaystyle \sigma _{I}}$${\displaystyle \sigma _{D}}$

Целью аффинного инвариантного детектора является идентификация областей на изображениях, которые связаны посредством аффинных преобразований. Таким образом, мы рассматриваем точку и преобразованную точку , где A — аффинное преобразование. В случае изображений и и находятся в пространстве. Матрицы второго момента связаны следующим образом: ^[3]${\displaystyle \mathbf {x} _{L}}$${\displaystyle \mathbf {x} _{R}=A\mathbf {x} _{L}}$${\displaystyle \mathbf {x} _{R}}$${\displaystyle \mathbf {x} _{L}}$${\displaystyle R^{2}}$

${\displaystyle {\begin{aligned}\mu (\mathbf {x} _{L},\Sigma _{I,L},\Sigma _{D,L})&{}=A^{T}\mu (\mathbf {x} _{R},\Sigma _{I,R},\Sigma _{D,R})A\\M_{L}&{}=\mu (\mathbf {x} _{L},\Sigma _{I,L},\Sigma _{D,L})\\M_{R}&{}=\mu (\mathbf {x} _{R},\Sigma _{I,R},\Sigma _{D,R})\\M_{L}&{}=A^{T}M_{R}A\\\Sigma _{I,R}&{}=A\Sigma _{I,L}A^{T}{\text{ and }}\Sigma _{D,R}=A\Sigma _{D,L}A^{T}\end{aligned}}}$

где и — матрицы ковариации для системы отсчета. Если мы продолжим эту формулировку и убедимся, что${\displaystyle \Sigma _{I,b}}$${\displaystyle \Sigma _{D,b}}$${\displaystyle b}$

${\displaystyle {\begin{aligned}\Sigma _{I,L}=\sigma _{I}M_{L}^{-1}\\\Sigma _{D,L}=\sigma _{D}M_{L}^{-1}\end{aligned}}}$

где и являются скалярными множителями, можно показать, что ковариационные матрицы для связанной точки связаны аналогичным образом:${\displaystyle \sigma _{I}}$${\displaystyle \sigma _{D}}$

${\displaystyle {\begin{aligned}\Sigma _{I,R}=\sigma _{I}M_{R}^{-1}\\\Sigma _{D,R}=\sigma _{D}M_{R}^{-1}\end{aligned}}}$

Требуя, чтобы матрицы ковариации удовлетворяли этим условиям, возникает несколько хороших свойств. Одно из этих свойств заключается в том, что квадратный корень матрицы второго момента преобразует исходную анизотропную область в изотропные области, которые связаны просто через матрицу чистого вращения . Эти новые изотропные области можно рассматривать как нормализованную систему отсчета. Следующие уравнения формулируют связь между нормализованными точками и :${\displaystyle M^{\tfrac {1}{2}}}$${\displaystyle R}$${\displaystyle x_{R}^{'}}$${\displaystyle x_{L}^{'}}$

${\displaystyle {\begin{aligned}A=M_{R}^{-{\tfrac {1}{2}}}RM_{L}^{\tfrac {1}{2}}\\x_{R}^{'}=M_{R}^{\tfrac {1}{2}}x_{R}\\x_{L}^{'}=M_{L}^{\tfrac {1}{2}}x_{L}\\x_{L}^{'}=Rx_{R}^{'}\\\end{aligned}}}$

Матрицу вращения можно восстановить с помощью градиентных методов, подобных тем, что используются в дескрипторе SIFT . Как обсуждалось с детектором Харриса, собственные значения и собственные векторы матрицы второго момента характеризуют кривизну и форму интенсивности пикселей. То есть собственный вектор, связанный с наибольшим собственным значением, указывает направление наибольшего изменения, а собственный вектор, связанный с наименьшим собственным значением, определяет направление наименьшего изменения. В двумерном случае собственные векторы и собственные значения определяют эллипс. Для изотропной области область должна иметь круглую форму, а не эллиптическую. Это тот случай, когда собственные значения имеют одинаковую величину. Таким образом, мера изотропии вокруг локальной области определяется следующим образом:${\displaystyle M=\mu (\mathbf {x} ,\Sigma _{I},\Sigma _{D})}$

${\displaystyle {\mathcal {Q}}={\frac {\lambda _{\min }(M)}{\lambda _{\max }(M)}}}$

где обозначают собственные значения. Эта мера имеет диапазон . Значение соответствует идеальной изотропии.${\displaystyle \lambda }$${\displaystyle [0\dots 1]}$${\displaystyle 1}$

Используя эту математическую структуру, алгоритм аффинного детектора Харриса итеративно обнаруживает матрицу второго момента, которая преобразует анизотропную область в нормализованную область, в которой изотропная мера достаточно близка к единице. Алгоритм использует эту матрицу адаптации формы , , для преобразования изображения в нормализованную систему отсчета. В этом нормализованном пространстве параметры точек интереса (пространственное положение, масштаб интегрирования и масштаб дифференциации) уточняются с использованием методов, аналогичных детектору Харриса–Лапласа. Матрица второго момента вычисляется в этой нормализованной системе отсчета и должна иметь изотропную меру, близкую к единице на последней итерации. На каждой итерации каждая область интереса определяется несколькими параметрами, которые должен обнаружить алгоритм: матрица, положение , масштаб интегрирования и масштаб дифференциации . Поскольку детектор вычисляет матрицу второго момента в преобразованной области, удобно обозначить это преобразованное положение как , где .${\displaystyle U}$${\displaystyle k}$${\displaystyle U^{(k)}}$${\displaystyle \mathbf {x} ^{(k)}}$${\displaystyle \sigma _{I}^{(k)}}$${\displaystyle \sigma _{D}^{(k)}}$${\displaystyle \mathbf {x} _{w}^{(k)}}$${\displaystyle U^{(k)}\mathbf {x} _{w}^{(k)}=\mathbf {x^{(k)}} }$

Вычислительная сложность аффинного детектора Харриса делится на две части: начальное обнаружение точки и аффинная нормализация области. Алгоритм начального обнаружения точки, Харриса–Лапласа, имеет сложность , где — количество пикселей в изображении. Алгоритм аффинной нормализации области автоматически определяет масштаб и оценивает матрицу адаптации формы , . Этот процесс имеет сложность , где — количество начальных точек, — размер пространства поиска для автоматического выбора масштаба, — количество итераций, необходимых для вычисления матрицы. ^[11]${\displaystyle {\mathcal {O}}(n)}$${\displaystyle n}$${\displaystyle U}$${\displaystyle {\mathcal {O}}((m+k)p)}$${\displaystyle p}$${\displaystyle m}$${\displaystyle k}$${\displaystyle U}$

Существуют некоторые методы, позволяющие уменьшить сложность алгоритма за счет точности. Один из методов заключается в исключении поиска на шаге дифференцирующей шкалы. Вместо того чтобы выбирать фактор из набора факторов, ускоренный алгоритм выбирает шкалу, которая будет постоянной для всех итераций и точек: . Хотя это сокращение пространства поиска может уменьшить сложность, это изменение может серьезно повлиять на сходимость матрицы .${\displaystyle s}$${\displaystyle \sigma _{D}=s\sigma _{I},\;s=constant}$${\displaystyle U}$

Можно представить, что этот алгоритм может идентифицировать дублирующиеся точки интереса в нескольких масштабах. Поскольку аффинный алгоритм Харриса рассматривает каждую начальную точку, заданную детектором Харриса–Лапласа, независимо, нет никакой дискриминации между идентичными точками. На практике было показано, что эти точки в конечном итоге все сойдутся в одну и ту же точку интереса. После завершения идентификации всех точек интереса алгоритм учитывает дубликаты, сравнивая пространственные координаты ( ), шкалу интегрирования , изотропную меру и перекос. ^[11] Если эти параметры точек интереса схожи в пределах указанного порогового значения, то они помечаются как дубликаты. Алгоритм отбрасывает все эти дубликаты точек, за исключением точки интереса, которая ближе всего к среднему значению дубликатов. Обычно 30% аффинных точек Харриса являются различными и достаточно непохожими, чтобы их не отбрасывать. ^[11]${\displaystyle \mathbf {x} }$${\displaystyle \sigma _{I}}$${\displaystyle {\tfrac {\lambda _{\min }(U)}{\lambda _{\max }(U)}}}$

Миколайчик и Шмид (2004) показали, что часто начальные точки (40%) не сходятся. Алгоритм обнаруживает это расхождение, останавливая итерационный алгоритм, если обратная величина изотропной меры больше заданного порога: . Миколайчик и Шмид (2004) используют . Из тех, которые сходились, типичное число требуемых итераций составляло 10. ^[2]${\displaystyle {\tfrac {\lambda _{\max }(U)}{\lambda _{\min }(U)}}>t_{\text{diverge}}}$${\displaystyle t_{diverge}=6}$

Количественный анализ детекторов аффинных областей учитывает как точность определения местоположения точек, так и перекрытие областей на двух изображениях. Mioklajcyzk и Schmid (2004) расширяют меру повторяемости Schmid и др. (1998) как отношение соответствий точек к минимально обнаруженным точкам двух изображений. ^{[11] [13]}

${\displaystyle R_{\text{score}}={\frac {C(A,B)}{\min(n_{A},n_{B})}}}$

где — количество соответствующих точек на изображениях и . и — количество обнаруженных точек на соответствующих изображениях. Поскольку каждое изображение представляет собой трехмерное пространство, может случиться так, что одно изображение содержит объекты, которых нет на втором изображении, и, таким образом, точки интереса которых не имеют шансов соответствовать. Чтобы сделать меру повторяемости действительной, нужно удалить эти точки и учитывать только точки, которые лежат на обоих изображениях; и подсчитывать только те точки, которые . Для пары из двух изображений, связанных посредством матрицы гомографии , две точки и считаются соответствующими, если:${\displaystyle C(A,B)}$${\displaystyle A}$${\displaystyle B}$${\displaystyle n_{B}}$${\displaystyle n_{A}}$${\displaystyle n_{A}}$${\displaystyle n_{B}}$${\displaystyle x_{A}=H\cdot x_{B}}$${\displaystyle H}$${\displaystyle \mathbf {x_{a}} }$${\displaystyle \mathbf {x_{b}} }$

Миколайчик и др. (2005) провели тщательный анализ нескольких современных детекторов аффинных областей: детекторов Харриса, аффинных по Гессену , MSER , ^[14] IBR и EBR ^[15] и детекторов выдающихся ^[16] . ^[1] Миколайчик и др. проанализировали как структурированные, так и текстурированные изображения в своей оценке. Двоичные файлы детекторов для Linux и их тестовые изображения свободно доступны на их веб-странице. Краткое изложение результатов Миколайчика и др. (2005) приведено ниже; см. Сравнение детекторов аффинных областей для более количественного анализа.

• Изменение угла обзора: Аффинный детектор Харриса имеет разумную (среднюю) устойчивость к этим типам изменений. Детектор поддерживает показатель повторяемости выше 50% до угла обзора выше 40 градусов. Детектор имеет тенденцию обнаруживать большое количество повторяющихся и сопоставляемых областей даже при большом изменении точки обзора.
• Изменение масштаба: Аффинный детектор Харриса остается очень стабильным при изменении масштаба. Хотя количество точек значительно уменьшается при больших изменениях масштаба (выше 2,8), повторяемость (50–60%) и оценки соответствия (25–30%) остаются очень постоянными, особенно для текстурированных изображений. Это согласуется с высокой производительностью итеративного алгоритма автоматического выбора масштаба.
• Размытые изображения: Аффинный детектор Харриса остается очень стабильным при размытии изображения. Поскольку детектор не полагается на сегментацию изображения или границы областей, показатели повторяемости и соответствия остаются постоянными.
• Артефакты JPEG: Аффинный детектор Харриса ухудшается так же, как и другие аффинные детекторы: показатели повторяемости и соответствия значительно падают при сжатии выше 80%.
• Изменения освещенности: Аффинный детектор Харриса, как и другие аффинные детекторы, очень устойчив к изменениям освещенности: повторяемость и оценки соответствия остаются постоянными при уменьшении освещенности. Этого следовало ожидать, поскольку детекторы в значительной степени полагаются на относительные интенсивности (производные), а не на абсолютные интенсивности.

• Точки аффинной области Харриса, как правило, малы и многочисленны. Как детектор аффинной области Харриса, так и детектор аффинной области Гессе последовательно идентифицируют вдвое больше повторяющихся точек, чем другие аффинные детекторы: ~1000 областей для изображения 800x640. ^[1] Малые области с меньшей вероятностью будут перекрыты, но имеют меньшую вероятность перекрытия соседних областей.
• Аффинный детектор Харриса хорошо реагирует на текстурированные сцены, в которых много угловатых деталей. Однако для некоторых структурированных сцен, таких как здания, аффинный детектор Харриса работает очень хорошо. Это дополняет MSER, который, как правило, лучше справляется с хорошо структурированными (сегментируемыми) сценами.
• В целом аффинный детектор Харриса работает очень хорошо, но все еще уступает MSER и аффинному детектору Гессе во всех случаях, за исключением размытых изображений.
• Детекторы Харриса-аффинного и Гессиан-аффинного типов менее точны, чем другие: их показатель повторяемости увеличивается с увеличением порога перекрытия.
• Обнаруженные аффинно-инвариантные регионы могут по-прежнему отличаться по вращению и освещению. Любой дескриптор, использующий эти регионы, должен учитывать инвариантность при использовании регионов для сопоставления или других сравнений.

• Поиск изображений на основе контента ^{[17] [18]}
• Распознавание на основе модели
• Поиск объекта на видео ^[19]
• Визуальный анализ данных: выявление важных объектов, персонажей и сцен в видео ^[20]
• Распознавание и категоризация объектов ^[21]
• Анализ изображений, полученных с помощью дистанционного зондирования: обнаружение объектов с помощью изображений, полученных с помощью дистанционного зондирования ^[22]

• Аффинно-ковариантные признаки: К. Миколайчик поддерживает веб-страницу, содержащую двоичные файлы Linux детектора Харриса-аффинного в дополнение к другим детекторам и дескрипторам. Также доступен код Matlab, который можно использовать для иллюстрации и вычисления повторяемости различных детекторов. Также доступны код и изображения для дублирования результатов, найденных в статье Миколайчика и др. (2005).
• lip-vireo – двоичный код для Linux, Windows и SunOS от исследовательской группы VIREO. Смотрите больше на домашней странице Архивировано 2017-05-11 на Wayback Machine

Найдите понятие «анизотропия» в Викисловаре — бесплатном словаре.

Найдите понятие «изотропия» в Викисловаре — бесплатном словаре.

Найдите значение слова «аффинный» в Викисловаре, бесплатном словаре.

• [1] – Слайды презентации Миколайчика и др. по их статье 2005 года.
• [2] Архивировано 26 июля 2023 г. в Wayback Machine – Лаборатория компьютерного зрения Корделии Шмид
• [3] – Код, тестовые изображения, библиография аффинно-ковариантных признаков, поддерживаемая Кристианом Миколайчиком и группой визуальной геометрии из группы робототехники Оксфордского университета.
• [4] – Библиография детекторов признаков (и пятен), поддерживаемая Институтом робототехники и интеллектуальных систем Университета Южной Калифорнии
• [5] – Цифровая реализация Лапласа Гаусса

• Гессе-аффинный
• МСЭР
• Детектор заметности Кадира-Брейди
• Масштаб пространства
• Изотропия
• Обнаружение угла
• Обнаружение точек интереса
• Аффинная адаптация формы
• Производное изображения
• Компьютерное зрение
• ASIFT -> Affine-Sift (полностью аффинный инвариантный алгоритм сопоставления изображений)