Калтех 101

Caltech 101 — это набор данных цифровых изображений , созданный в сентябре 2003 года и составленный Фей-Феем Ли , Марко Андреетто, Марком Аурелио Ранзато и Пьетро Пероной в Калифорнийском технологическом институте . Он предназначен для содействия исследованиям и методам компьютерного зрения и наиболее применим к методам, включающим классификацию и категоризацию распознавания изображений . Caltech 101 содержит в общей сложности 9146 изображений, разделенных на 101 отдельную категорию объектов ( лица , часы , муравьи , пианино и т. д.) и категорию фона. Вместе с изображениями предоставляется набор аннотаций, описывающих контуры каждого изображения, а также скрипт Matlab для просмотра.

Большинство алгоритмов компьютерного зрения и машинного обучения работают, обучаясь на примерах входных данных. Для эффективной работы им требуется большой и разнообразный набор обучающих данных. Например, метод обнаружения лиц в реальном времени , используемый Полом Виолой и Майклом Дж. Джонсом, обучался на 4916 вручную помеченных лицах. ^[1]

Обрезка, изменение размера и ручная отметка точек интереса — утомительный и трудоемкий процесс.

Исторически большинство наборов данных, используемых в исследованиях компьютерного зрения, были адаптированы к конкретным потребностям проекта, над которым ведется работа. Большой проблемой при сравнении методов компьютерного зрения является тот факт, что большинство групп используют свои собственные наборы данных. Каждый набор может иметь разные свойства, которые затрудняют прямое сравнение сообщаемых результатов, полученных разными методами. Например, различия в размере изображения, качестве изображения, относительном расположении объектов на изображениях и уровне окклюзии и помех могут привести к разным результатам. ^[2]

Набор данных Caltech 101 направлен на решение многих из этих распространенных проблем.

• Изображения обрезаны и изменены в размере.
• Представлено множество категорий, что подходит как для алгоритмов распознавания одного, так и нескольких классов.
• Отмечены подробные контуры объектов.
• Caltech 101 доступен для общего использования и выступает в качестве общего стандарта, с помощью которого можно сравнивать различные алгоритмы без предвзятости из-за разных наборов данных.

Однако последующее исследование показало, что тесты, основанные на неконтролируемых естественных изображениях (например, набор данных Caltech 101), могут быть серьезно обманчивыми, потенциально направляя прогресс в неправильном направлении. ^[3]

Набор данных Caltech 101 состоит из 9146 изображений, разделенных на 101 различную категорию объектов, а также дополнительную категорию фона/помех.

Каждая категория объектов содержит от 40 до 800 изображений. Распространенные и популярные категории, такие как лица, как правило, имеют большее количество изображений, чем другие.

Каждое изображение имеет размер около 300x200 пикселей. Изображения ориентированных объектов, таких как самолеты и мотоциклы, были зеркально отражены для выравнивания слева направо, а вертикально ориентированные структуры, такие как здания, были повернуты для смещения по оси.

Для каждого изображения предоставляется набор аннотаций. Каждый набор аннотаций содержит две части информации: общую ограничивающую рамку, в которой находится объект, и подробный контур, заданный человеком, охватывающий объект.

С аннотациями поставляется скрипт Matlab. Он загружает изображение и соответствующий ему файл аннотации и отображает их в виде рисунка Matlab.

Набор данных Caltech 101 использовался для обучения и тестирования нескольких алгоритмов распознавания и классификации компьютерного зрения. Первая статья, в которой использовался Caltech 101, представляла собой инкрементальный байесовский подход к одноразовому обучению ^[4], попытку классифицировать объект, используя всего несколько примеров, основываясь на предыдущих знаниях о других классах.

Изображения Caltech 101 вместе с аннотациями были использованы для еще одной одноразовой обучающей работы в Caltech. ^[5]

Другие статьи по компьютерному зрению, в которых сообщается об использовании набора данных Caltech 101, включают:

• Сопоставление форм и распознавание объектов с использованием соответствия с низким искажением. Александр К. Берг, Тамара Л. Берг, Джитендра Малик . CVPR 2005
• Ядро сопоставления пирамиды: дискриминантная классификация с наборами признаков изображения. К. Грауман и Т. Даррелл. Международная конференция по компьютерному зрению (ICCV), 2005 ^[6]
• Объединение генеративных моделей и ядер Фишера для распознавания классов объектов. Голуб, А.Д. Веллинг, М. Перона, П. Международная конференция по компьютерному зрению (ICCV), 2005 ^[7]
• Распознавание объектов с помощью признаков, вдохновленных визуальной корой. Т. Серр, Л. Вольф и Т. Поджио. Труды конференции IEEE Computer Society 2005 года по компьютерному зрению и распознаванию образов (CVPR 2005), IEEE Computer Society Press, Сан-Диего, июнь 2005 г. ^[8]
• SVM-KNN: Дискриминационная классификация ближайшего соседа для распознавания визуальных категорий. Хао Чжан, Алекс Берг, Майкл Мэр, Джитендра Малик . CVPR, 2006 ^[9]
• Beyond Bags of Features: Пространственное сопоставление пирамид для распознавания категорий природных сцен. Светлана Лазебник , Корделия Шмид и Жан Понсе. CVPR, 2006 ^[10]
• Эмпирическое исследование многомасштабных банков фильтров для категоризации объектов. М. Дж. Маре-Химерес и Н. Перес де ла Бланка. Декабрь 2005 г. ^[11]
• Распознавание многоклассовых объектов с редкими локализованными признаками. Джим Матч и Дэвид Г. Лоу, стр. 11–18, CVPR 2006, IEEE Computer Society Press, Нью-Йорк, июнь 2006 г. ^[12]
• Использование зависимых областей или категоризации объектов в генеративной структуре. G. Wang, Y. Zhang и L. Fei-Fei. IEEE Comp. Vis. Patt. Recog. 2006 ^[13]

Caltech 101 имеет ряд преимуществ по сравнению с другими аналогичными наборами данных:

• Единый размер и презентация:
  • Почти все изображения в каждой категории имеют одинаковый размер и относительное положение интересующих объектов. Пользователям Caltech 101 обычно не нужно обрезать или масштабировать изображения перед тем, как их можно будет использовать.
• Низкий уровень загромождения/окклюзии:
  • Алгоритмы, связанные с распознаванием, обычно функционируют, сохраняя уникальные для объекта характеристики. Однако большинство полученных изображений имеют разную степень фонового беспорядка, что означает, что алгоритмы могут строить неправильно.
• Подробные аннотации

Слабые стороны набора данных Caltech 101 ^{[3] [14]} могут быть сознательными компромиссами, но другие являются ограничениями набора данных. Статьи, которые опираются исключительно на Caltech 101, часто отклоняются.

К слабым сторонам относятся:

• Набор данных слишком чистый:
  • Изображения очень единообразны в представлении, выровнены слева направо и обычно не загорожены. В результате изображения не всегда представляют практические входные данные, которые алгоритм мог бы впоследствии ожидать увидеть. В практических условиях изображения более загромождены, загорожены и демонстрируют большую дисперсию в относительном положении и ориентации интересующих объектов. Единообразие позволяет выводить концепции с использованием среднего значения категории, что нереалистично.
• Ограниченное количество категорий:
  • Набор данных Caltech 101 представляет собой лишь малую часть возможных категорий объектов.
• Некоторые категории содержат мало изображений:
  • Некоторые категории представлены не так хорошо, как другие, и содержат всего 31 изображение.
  • Это означает, что . Количество изображений, используемых для обучения, должно быть меньше или равно 30, что недостаточно для всех целей.${\displaystyle \mathrm {N} _ {\mathrm {train} }\leq 30}$
• Алиасинг и артефакты, возникающие из-за манипуляций:
  • Некоторые изображения были повернуты и масштабированы относительно своей исходной ориентации и страдают от некоторого количества артефактов или ступенчатости .

• Caltech 256 — еще один набор данных изображений, созданный в 2007 году. Он является преемником Caltech 101. Он призван устранить некоторые недостатки Caltech 101. В целом, это более сложный набор данных, чем Caltech 101, но он страдает от сопоставимых проблем. Он включает ^[3]
  • 30 607 изображений, охватывающих большее количество категорий
  • Минимальное количество изображений в категории увеличено до 80
  • Изображения не выровнены по левому и правому краю.
  • Больше вариаций в представлении изображений
• LabelMe — это открытый динамический набор данных, созданный в Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL). LabelMe использует другой подход к проблеме создания большого набора данных изображений с другими компромиссами.
  • 106 739 изображений, 41 724 аннотированных изображения и 203 363 маркированных объекта.
  • Пользователи могут добавлять изображения в набор данных путем загрузки, а также добавлять метки или аннотации к существующим изображениям.
  • Благодаря своей открытости LabelMe содержит гораздо больше изображений, охватывающих гораздо более широкую область, чем Caltech 101. Однако, поскольку каждый человек сам решает, какие изображения загружать, как маркировать и аннотировать каждое изображение, изображения менее единообразны.
• VOC 2008 — это европейская попытка собрать изображения для сравнительного анализа методов визуальной категоризации. По сравнению с Caltech 101/256, собирается меньшее количество категорий (около 20). Однако количество изображений в каждой категории больше.
• Overhead Imagery Research Data Set (OIRDS) — это аннотированная библиотека изображений и инструментов. ^[15] OIRDS v1.0 состоит из объектов пассажирских транспортных средств, аннотированных на изображениях сверху. Пассажирские транспортные средства в OIRDS включают автомобили, грузовики, фургоны и т. д. В дополнение к контурам объектов OIRDS включает субъективную и объективную статистику, которая количественно определяет транспортное средство в контексте изображения. Например, включены субъективные измерения беспорядка изображения, четкости, шума и цвета транспортного средства, а также более объективная статистика, такая как расстояние выборки земли (GSD), время суток и день года.
  • ~900 изображений, содержащих ~1800 аннотированных изображений
  • ~30 аннотаций на объект
  • ~60 статистических показателей на объект
  • Широкие вариации в контексте объекта
  • Ограничено для легковых автомобилей на снимках сверху
• MICC-Flickr 101 — это набор данных изображений, созданный в Центре интеграции медиа и коммуникаций (MICC) Флорентийского университета в 2012 году. Он основан на Caltech 101 и собран из Flickr . MICC-Flickr 101 ^[16] исправляет главный недостаток Caltech 101, а именно его низкую межклассовую изменчивость, и предоставляет социальные аннотации через пользовательские теги. Он основан на стандартном и широко используемом наборе данных, состоящем из управляемого числа категорий (101), и поэтому может использоваться для сравнения производительности категоризации объектов в ограниченном сценарии (Caltech 101) и категоризации объектов «в дикой природе» (MICC-Flickr 101) по тем же 101 категориям.

• Список наборов данных для исследований машинного обучения
• База данных MNIST
• МеткаМеня

• http://www.vision.caltech.edu/Image_Datasets/Caltech101/ Архивировано 06.12.2013 на Wayback Machine – Домашняя страница Caltech 101 (включая загрузку)
• http://www.vision.caltech.edu/Image_Datasets/Caltech256/ – Домашняя страница Caltech 256 (включая загрузку)
• http://labelme.csail.mit.edu/ – домашняя страница LabelMe
• http://www2.it.lut.fi/project/visiq/ – Рандомизированная страница загрузки Caltech 101 (включая загрузку)
• http://www.micc.unifi.it/vim/datasets/micc-flickr-101/ – Домашняя страница MICC-Flickr101 (включая загрузку)