Gradient vector flow ( GVF ), фреймворк компьютерного зрения , представленный Чэньяном Сюй и Джерри Л. Принсом , [1] [2] представляет собой векторное поле, которое создается процессом, который сглаживает и рассеивает входное векторное поле. Обычно он используется для создания векторного поля из изображений, которое указывает на края объекта на расстоянии. Он широко используется в приложениях анализа изображений и компьютерного зрения для отслеживания объектов, распознавания форм, сегментации и обнаружения краев . В частности, он обычно используется в сочетании с активной контурной моделью .
Поиск объектов или однородных областей на изображениях — это процесс, известный как сегментация изображения. Во многих приложениях местоположения краев объектов можно оценить с помощью локальных операторов, которые дают новое изображение, называемое картой краев. Затем карту краев можно использовать для направления деформируемой модели, иногда называемой активным контуром или змейкой, так, чтобы она плавно проходила через карту краев, тем самым определяя сам объект.
Обычный способ побудить деформируемую модель двигаться к карте ребер — взять пространственный градиент карты ребер, что даст векторное поле. Поскольку карта ребер имеет самые высокие интенсивности непосредственно на ребре и падает до нуля вдали от ребра, эти векторы градиента обеспечивают направления для движения активного контура. Когда векторы градиента равны нулю, активный контур не будет двигаться, и это правильное поведение, когда контур опирается на пик самой карты ребер. Однако, поскольку само ребро определяется локальными операторами, эти векторы градиента также будут равны нулю вдали от ребра, и поэтому активный контур не будет двигаться к ребру при инициализации вдали от ребра.
Поток градиентного вектора (GVF) — это процесс, который пространственно расширяет векторы градиента карты краев, создавая новое векторное поле, содержащее информацию о расположении краев объекта по всей области изображения. GVF определяется как процесс диффузии, работающий над компонентами входного векторного поля. Он предназначен для балансировки точности исходного векторного поля, чтобы оно не менялось слишком сильно, с регуляризацией, которая предназначена для создания гладкого поля на его выходе.
Хотя GVF изначально был разработан для сегментации объектов с использованием активных контуров, притянутых к краям, с тех пор он был адаптирован и использовался для многих альтернативных целей. Некоторые новые цели включают определение непрерывного представления средней оси, [3] регуляризацию алгоритмов анизотропной диффузии изображений, [4] поиск центров лентообразных объектов, [5] построение графиков для оптимальной сегментации поверхности, [6] создание априорной формы, [7] и многое другое.
Теория GVF была первоначально описана Сюй и Принсом. [2] Пусть будет картой ребер, определенной на области изображения. Для единообразия результатов важно ограничить интенсивности карты ребер, чтобы они лежали в диапазоне от 0 до 1, и по соглашению принимает большие значения (близкие к 1) на краях объекта. Поле градиентного векторного потока (GVF) задается векторным полем , которое минимизирует функционал энергии
(1) |
В этом уравнении нижние индексы обозначают частные производные, а градиент карты ребер задается векторным полем . На рисунке 1 показана карта ребер, градиент (слегка размытой) карты ребер и поле GVF, полученное путем минимизации .
Уравнение 1 представляет собой вариационную формулировку, которая имеет как член данных, так и член регуляризации. Первый член в подынтегральном выражении — это член данных. Он способствует тому, чтобы решение близко согласовывалось с градиентами карты ребер, поскольку это сделает малым. Однако это должно происходить только тогда, когда градиенты карты ребер велики, поскольку умножается на квадрат длины этих градиентов. Второй член в подынтегральном выражении — это член регуляризации. Он способствует тому, чтобы пространственные вариации компонентов решения были малыми, штрафуя сумму всех частных производных . Как принято в этих типах вариационных формулировок, существует параметр регуляризации , который должен быть указан пользователем, чтобы компенсировать влияние каждого из двух членов. Например, если велико, то результирующее поле будет очень гладким и может не согласовываться с базовыми градиентами ребер.
Теоретическое решение. Поиск минимизации уравнения 1 требует использования вариационного исчисления, поскольку является функцией, а не переменной. Соответственно, уравнения Эйлера, которые обеспечивают необходимые условия для того, чтобы быть решением, могут быть найдены с помощью вариационного исчисления, что дает
(2а) |
(2б) |
где — оператор Лапласа. Поучительно рассмотреть форму уравнений в (2). Каждое из них является частным дифференциальным уравнением, которому должны удовлетворять компоненты и . Если величина градиента края мала, то решение каждого уравнения полностью подчиняется уравнению Лапласа, например , которое создаст гладкое скалярное поле, полностью зависящее от его граничных условий. Граничные условия эффективно обеспечиваются теми местами на изображении, где величина градиента края велика, где решение стремится лучше согласоваться с градиентами края.
Вычислительные решения. Существует два основных способа вычисления GVF. Во-первых, сама функция энергии (1) может быть напрямую дискретизирована и минимизирована, например, с помощью градиентного спуска. Во-вторых, уравнения в частных производных в (2) могут быть дискретизированы и решены итеративно. В оригинальной статье GVF использовался итеративный подход, в то время как в более поздних статьях были представлены значительно более быстрые реализации, такие как метод на основе октодерева [8] , многосеточный метод [9] и расширенный метод Лагранжа. [10] Кроме того, очень быстрые реализации GPU были разработаны в [11] [12]
Расширения и усовершенствования. GVF легко расширяется до более высоких измерений. Функция энергии легко записывается в векторной форме как
(3) |
которая может быть решена с помощью градиентного спуска или путем нахождения и решения ее уравнения Эйлера. На рисунке 2 показана иллюстрация трехмерного поля GVF на карте ребер простого объекта (см. [13] ).
Данные и термины регуляризации в подынтегральном выражении функционала GVF также могут быть изменены. Модификация, описанная в [14], называемая обобщенным градиентным векторным потоком (GGVF), определяет две скалярные функции и переформулирует энергию как
(4) |
В то время как варианты и сокращают GGVF до GVF, альтернативные варианты и для константы, выбранной пользователем, могут улучшить компромисс между термином данных и его регуляризацией в некоторых приложениях.
Формулировка GVF была дополнительно расширена на векторные изображения в [15] , где используется взвешенный структурный тензор векторного изображения. Основанное на обучении вероятностное взвешенное расширение GVF было предложено в [16] для дальнейшего улучшения сегментации изображений с сильно загроможденными текстурами или высоким уровнем шума.
Вариационная формулировка GVF также была изменена в motion GVF (MGVF) для включения движения объекта в последовательность изображений. [17] В то время как диффузия векторов GVF из обычной карты границ действует изотропным образом, формулировка MGVF включает ожидаемое движение объекта между кадрами изображения.
Альтернатива GVF, называемая сверткой векторного поля (VFC), обеспечивает многие из преимуществ GVF, имеет превосходную устойчивость к шумам и может быть вычислена очень быстро. [18] Поле VFC определяется как свертка карты ребер с ядром векторного поля
(5) |
где
(6) |
Ядро векторного поля имеет векторы, которые всегда направлены к началу координат, но их величины, подробно определяемые функцией , уменьшаются до нуля с увеличением расстояния от начала координат.
Прелесть VFC в том, что его можно вычислить очень быстро, используя быстрое преобразование Фурье (БПФ), умножение и обратное БПФ. Диапазон захвата может быть большим и явно задается радиусом ядра векторного поля. Возможный недостаток VFC заключается в том, что слабые края могут быть подавлены сильными краями, но эту проблему можно устранить, используя гибридный метод, который переключается на обычные силы, когда змея приближается к границе.
Свойства. GVF обладает характеристиками, которые сделали его полезным во многих разнообразных приложениях. Уже отмечалось, что его первичной первоначальной целью было расширение локального краевого поля по всей области изображения, далеко от фактического края во многих случаях. Это свойство было описано как расширение диапазона захвата внешней силы активной контурной модели. Он также способен перемещать активные контуры в вогнутые области границы объекта. Эти два свойства проиллюстрированы на рисунке 3.
Предыдущие силы, которые использовались в качестве внешних сил (на основе градиентов карты ребер и просто связанных вариантов), требовали сил давления для перемещения границ с больших расстояний в вогнутые области. Силы давления, также называемые силами баллона, обеспечивают непрерывную силу на границе в одном направлении (наружу или внутрь) и, как правило, имеют эффект проталкивания через слабые границы. GVF часто может заменить силы давления и обеспечить лучшую производительность в таких ситуациях.
Поскольку процесс диффузии присущ решению GVF, векторы, которые указывают в противоположных направлениях, имеют тенденцию конкурировать, поскольку они встречаются в центральном месте, тем самым определяя тип геометрической особенности, которая связана с конфигурацией границы, но не очевидна напрямую из карты ребер. Например, перцептуальные края — это зазоры в карте ребер, которые, как правило, визуально связаны человеческим восприятием. [19] GVF помогает соединить их, рассеивая противоположные векторы градиента края через зазор; и даже если фактической карты ребер нет, активный контур будет сходиться к перцептуальному краю, потому что векторы GVF направляют их туда (см. Xu, C.; Prince, JL (2012). "Active contours, deformable models, and gradient vector flow". Онлайн-ресурс, включающий загрузку кода.). Это свойство сохраняется, когда имеются так называемые слабые края, идентифицированные областями карт краев, имеющими более низкие значения.
Векторы GVF также встречаются в оппозиции в центральных местах объектов, тем самым определяя тип медиальности. Это свойство использовалось как альтернативное определение скелета объектов [20] , а также как способ инициализации деформируемых моделей внутри объектов, так что сходимость к границе становится более вероятной.
Наиболее фундаментальное применение GVF — внешняя сила в деформируемой модели. Типичное применение рассматривает изображение с объектом, выделенным интенсивностью от его фона. Таким образом, подходящая карта границ может быть определена как
(7) |
где — ядро гауссова размытия со стандартным отклонением , а — свертка. Это определение применимо в любом измерении и дает карту ребер, которая попадает в диапазон . Гауссово размытие используется в первую очередь для того, чтобы всегда можно было вычислить значимый вектор градиента, но обычно сохраняется довольно малым, чтобы истинные положения ребер не были чрезмерно искажены. При наличии этой карты ребер векторное поле GVF можно вычислить, решив (2).
Сама деформируемая модель может быть реализована различными способами, включая параметрические модели, такие как исходная змея [19] или активные поверхности и неявные модели, включая геометрические деформируемые модели. [21] В случае параметрических деформируемых моделей векторное поле GVF может использоваться непосредственно в качестве внешних сил в модели. Если деформируемая модель определяется эволюцией (двумерного) активного контура , то простое параметрическое уравнение эволюции активного контура может быть записано как
(8) |
Здесь нижние индексы обозначают частные производные, а и — константы, выбранные пользователем.
В случае геометрических деформируемых моделей векторное поле GVF сначала проецируется против нормального направления неявного волнового фронта, что определяет дополнительную функцию скорости. Соответственно, тогда эволюция функции расстояния со знаком, определяющей простой геометрический деформируемый контур, может быть записана как
(9) |
где — кривизна контура, — константа, выбираемая пользователем.
Более сложная формулировка деформируемой модели, которая объединяет геодезический активный контурный поток с силами GVF, была предложена в . [22] В этой статье также показано, как применять схему аддитивного оператора расщепления [23] для быстрого вычисления этого метода сегментации. Уникальность и существование этой комбинированной модели были доказаны в . [24] Дальнейшая модификация этой модели с использованием внешнего силового члена, минимизирующего расхождение GVF, была предложена в [25] для достижения еще лучшей сегментации для изображений со сложными геометрическими объектами.
GVF использовался для поиска как внутренних, так и центральных и центральных корковых поверхностей при анализе изображений мозга [5] , как показано на рисунке 4. Сначала процесс находит внутреннюю поверхность, используя трехмерную геометрическую деформируемую модель с обычными силами. Затем центральная поверхность находится с использованием свойства центральной тенденции GVF. В частности, корковая функция принадлежности коры человеческого мозга, полученная с помощью нечеткого классификатора, используется для вычисления GVF, как если бы она сама была картой с толстыми краями. Вычисленные векторы GVF указывают на центр коры и затем могут использоваться в качестве внешних сил для перемещения внутренней поверхности к центральной поверхности. Наконец, другая геометрическая деформируемая модель с обычными силами используется для перемещения центральной поверхности в положение на внешней поверхности коры.
Несколько известных недавних применений GVF включают построение графиков для оптимальной сегментации поверхности в объемах спектральной оптической когерентной томографии [6] , вероятностную формулировку активного контура GVF на основе обучения для придания большего веса интересующим объектам при сегментации ультразвукового изображения [16] и адаптивный многофункциональный активный контур GVF для улучшенной сегментации ультразвукового изображения без ручной настройки параметров [26] .