Визуальное описание

В компьютерном зрении визуальные дескрипторы или дескрипторы изображений являются описаниями визуальных особенностей содержимого в изображениях , видео или алгоритмах или приложениях, которые производят такие описания. Они описывают элементарные характеристики, такие как форма , цвет , текстура или движение , среди прочих.

Введение

В результате новых коммуникационных технологий и массового использования Интернета в нашем обществе, объем аудиовизуальной информации, доступной в цифровом формате, значительно увеличивается. Поэтому возникла необходимость в разработке некоторых систем, которые позволяют нам описывать содержание нескольких типов мультимедийной информации с целью их поиска и классификации.

Аудиовизуальные дескрипторы отвечают за описание контента. Эти дескрипторы хорошо разбираются в объектах и событиях, обнаруженных в видео, изображении или аудио , и позволяют быстро и эффективно искать аудиовизуальный контент.

Эту систему можно сравнить с поисковыми системами текстового контента. Хотя относительно легко найти текст с помощью компьютера, гораздо сложнее найти конкретные аудио- и видеочасти. Например, представьте, что кто-то ищет сцену счастливого человека. Счастье — это чувство, и его форма, цвет и описание текстуры не очевидны на изображениях.

Описание аудиовизуального контента не является поверхностной задачей и имеет важное значение для эффективного использования этого типа архивов. Система стандартизации, которая имеет дело с аудиовизуальными дескрипторами, называется MPEG-7 ( Motion Picture Expert Group - 7 ).

Типы

Дескрипторы — это первый шаг к выявлению связи между пикселями, содержащимися в цифровом изображении , и тем, что люди вспоминают после наблюдения изображения или группы изображений через несколько минут.

Визуальные дескрипторы делятся на две основные группы:

Общие информационные дескрипторы: содержат дескрипторы низкого уровня, которые дают описание цвета, формы, областей , текстур и движения.
Конкретные дескрипторы информации о домене: дают информацию об объектах и событиях на сцене. Конкретным примером может служить распознавание лиц .

Общие информационные дескрипторы

Общие информационные дескрипторы состоят из набора дескрипторов, которые охватывают различные базовые и элементарные характеристики, такие как: цвет, текстура, форма, движение, местоположение и др. Это описание автоматически генерируется с помощью обработки сигнала .

Цвет

Это самое базовое качество визуального контента. Для описания цвета определены пять инструментов. Первые три инструмента представляют распределение цвета, а последние описывают цветовые отношения между последовательностями или группами изображений :

Доминирующий цветовой дескриптор (DCD)
Масштабируемый цветовой дескриптор (SCD)
Дескриптор структуры цвета (CSD)
Дескриптор цветовой раскладки (CLD)
Группа кадров (GoF) или группа изображений (GoP)

Текстура

Это важное качество для описания изображения. Текстурные дескрипторы характеризуют текстуры или области изображения. Они наблюдают однородность области и гистограммы границ этих областей. Набор дескрипторов формируется:

Однородный дескриптор текстуры (HTD)
Дескриптор просмотра текстуры (TBD)
Дескриптор гистограммы края (EHD)

Форма

Он содержит важную семантическую информацию, обусловленную способностью человека распознавать объекты по их форме. Однако эта информация может быть извлечена только посредством сегментации, аналогичной той, которую реализует зрительная система человека. В настоящее время такая система сегментации пока недоступна, однако существует ряд алгоритмов, которые считаются хорошим приближением. Эти дескрипторы описывают области, контуры и формы для 2D- изображений и для 3D- объемов. Дескрипторы формы следующие:

Дескриптор формы на основе региона (RSD)
Контурный дескриптор формы (CSD)
Трехмерный дескриптор формы (3-D SD)

Движение

Он определяется четырьмя различными дескрипторами, которые описывают движение в видеопоследовательности . Движение связано с движением объектов в последовательности и с движением камеры . Эта последняя информация предоставляется устройством захвата, тогда как остальная часть реализуется посредством обработки изображений . Набор дескрипторов следующий:

Дескриптор двигательной активности (MAD)
Дескриптор движения камеры (CMD)
Дескриптор траектории движения (MTD)
Дескриптор деформации и параметрического движения (WMD и PMD)

Расположение

Расположение элементов на изображении используется для описания элементов в пространственной области. Кроме того, элементы могут быть также расположены во временной области:

Дескриптор локатора региона (RLD)
Дескриптор пространственно-временного локатора (STLD)

Конкретные дескрипторы информации о домене

Эти дескрипторы, которые дают информацию об объектах и событиях в сцене, нелегко извлечь, тем более, когда извлечение должно быть выполнено автоматически. Тем не менее, их можно обрабатывать вручную.

Как упоминалось ранее, распознавание лиц — это конкретный пример приложения, которое пытается автоматически получить эту информацию.

Дескрипторы приложений

Среди всех приложений наиболее важными являются:

Поисковые системы и классификаторы мультимедийных документов.
Цифровая библиотека : визуальные дескрипторы позволяют осуществлять очень подробный и конкретный поиск любого видео или изображения с помощью различных параметров поиска. Например, поиск фильмов, где появляется известный актер, поиск видео, содержащих гору Эверест и т. д.
Персонализированная электронная служба новостей.
Возможность автоматического подключения к телеканалу, транслирующему, например, футбольный матч, всякий раз, когда игрок приближается к воротам.
Контроль и фильтрация конкретного аудиовизуального контента, например, жестокого или порнографического. Также авторизация некоторого мультимедийного контента.

Смотрите также

Ссылки

BS Manjunath (редактор), Philippe Salembier (редактор) и Thomas Sikora (редактор): Введение в MPEG-7: Интерфейс описания мультимедийного контента . Wiley & Sons, апрель 2002 г. - ISBN 0-471-48678-7