Теория адаптивного резонанса

Теория адаптивного резонанса ( ART ) — это теория, разработанная Стивеном Гроссбергом и Гейл Карпентер по аспектам того, как мозг обрабатывает информацию . Она описывает ряд моделей искусственных нейронных сетей , которые используют контролируемые и неконтролируемые методы обучения и решают такие проблемы, как распознавание образов и прогнозирование.

Основная интуиция, лежащая в основе модели ART, заключается в том, что идентификация и распознавание объектов обычно происходят в результате взаимодействия ожиданий наблюдателя «сверху вниз» с сенсорной информацией «снизу вверх» . Модель постулирует, что ожидания «сверху вниз» принимают форму шаблона памяти или прототипа , который затем сравнивается с фактическими характеристиками объекта, обнаруженными органами чувств. Это сравнение дает меру принадлежности к категории. Пока эта разница между ощущением и ожиданием не превышает установленного порога, называемого «параметром бдительности», ощущаемый объект будет считаться членом ожидаемого класса. Таким образом, система предлагает решение проблемы «пластичности/стабильности», то есть проблемы приобретения новых знаний без нарушения существующих знаний, что также называется инкрементальным обучением .

Модель обучения

Базовая структура АРТ

Базовая система ART представляет собой модель неконтролируемого обучения . Она обычно состоит из поля сравнения и поля распознавания, состоящих из нейронов , параметра бдительности (порог распознавания) и модуля сброса .

  • Поле сравнения принимает входной вектор (одномерный массив значений) и переносит его в наилучшее соответствие в поле распознавания.
    • Лучшим соответствием является тот нейрон, набор весов (вектор весов) которого наиболее точно соответствует входному вектору.
  • Каждый нейрон поля распознавания выдает отрицательный сигнал (пропорциональный качеству соответствия этого нейрона входному вектору) каждому из других нейронов поля распознавания и, таким образом, подавляет их выходной сигнал.
    • Таким образом, поле распознавания проявляет латеральное торможение , позволяя каждому нейрону в нем представлять категорию, к которой относятся входные векторы.
  • После классификации входного вектора модуль сброса сравнивает силу совпадения распознавания с параметром бдительности.
    • Если параметр бдительности преодолен (т.е. входной вектор находится в пределах нормы, наблюдаемой для предыдущих входных векторов), то начинается обучение:
      • Веса победившего нейрона распознавания подстраиваются под особенности входного вектора.
    • В противном случае, если уровень соответствия ниже параметра бдительности (т.е. соответствие входного вектора выходит за пределы нормального ожидаемого диапазона для данного нейрона), победивший нейрон распознавания блокируется и выполняется процедура поиска.
      • В этой процедуре поиска нейроны распознавания отключаются один за другим с помощью функции сброса до тех пор, пока параметр бдительности не будет преодолен совпадением распознавания.
        • В частности, на каждом цикле процедуры поиска выбирается наиболее активный нейрон распознавания, который затем отключается, если его активация ниже параметра бдительности.
        • (обратите внимание, что таким образом он освобождает оставшиеся нейроны распознавания от торможения).
    • Если ни один из зафиксированных нейронов распознавания не превосходит параметр бдительности, то фиксируется незафиксированный нейрон, и его веса корректируются в направлении соответствия входному вектору.
  • Параметр бдительности оказывает значительное влияние на систему: более высокая бдительность приводит к появлению очень подробных воспоминаний (множество мелких категорий), в то время как более низкая бдительность приводит к появлению более общих воспоминаний (меньше более общих категорий).

Обучение

Существует два основных метода обучения нейронных сетей на основе ART: медленный и быстрый. В методе медленного обучения степень обучения весов нейрона распознавания по отношению к входному вектору вычисляется до непрерывных значений с помощью дифференциальных уравнений и, таким образом, зависит от продолжительности времени, в течение которого представлен входной вектор. При быстром обучении алгебраические уравнения используются для вычисления степени корректировок веса, которые необходимо сделать, и используются двоичные значения. В то время как быстрое обучение эффективно и действенно для различных задач, метод медленного обучения более биологически правдоподобен и может использоваться с сетями с непрерывным временем (т. е. когда входной вектор может непрерывно меняться).

Типы

ART 1 [1] [2] — это простейшая разновидность сетей ART, принимающая только двоичные входы. ART 2 [3] расширяет возможности сети для поддержки непрерывных входов. ART 2-A [4] — это упрощенная форма ART-2 с радикально ускоренным временем выполнения и качественными результатами, которые лишь изредка уступают полной реализации ART-2. ART 3 [5] основывается на ART-2, имитируя элементарную нейротрансмиттерную регуляцию синаптической активности путем включения имитируемых концентраций ионов натрия (Na+) и кальция (Ca2+) в уравнения системы, что приводит к более физиологически реалистичным средствам частичного ингибирования категорий, которые запускают сброс несоответствия.

Обзор ARTMAP

ARTMAP [6], также известный как Predictive ART , объединяет два слегка модифицированных блока ART-1 или ART-2 в контролируемую структуру обучения, где первый блок принимает входные данные, а второй блок принимает правильные выходные данные, а затем используется для выполнения минимально возможной корректировки параметра бдительности в первом блоке с целью выполнения правильной классификации.

Fuzzy ART [7] внедряет нечеткую логику в распознавание образов ART, тем самым повышая обобщаемость. Дополнительной (и очень полезной) функцией нечеткого ART является дополнительное кодирование, средство включения отсутствия признаков в классификации образов, что в значительной степени способствует предотвращению неэффективного и ненужного разрастания категорий. Применяемые меры сходства основаны на норме L1 . Известно, что нечеткое ART очень чувствительно к шуму.

Нечеткий ARTMAP [8] — это просто ARTMAP, использующий нечеткие единицы ART, что приводит к соответствующему повышению эффективности.

Упрощенный нечеткий ARTMAP (SFAM) [9] представляет собой сильно упрощенный вариант нечеткого ARTMAP, предназначенный для задач классификации .

Gaussian ART [10] и Gaussian ARTMAP [10] используют гауссовские функции активации и вычисления, основанные на теории вероятностей. Поэтому они имеют некоторое сходство с моделями гауссовой смеси . По сравнению с нечетким ART и нечетким ARTMAP они менее чувствительны к шуму. Но стабильность изученных представлений снижается, что может привести к распространению категорий в открытых учебных задачах.

Fusion ART и связанные с ним сети [11] [12] [13] расширяют ART и ARTMAP на несколько каналов шаблонов. Они поддерживают несколько парадигм обучения, включая неконтролируемое обучение, контролируемое обучение и обучение с подкреплением.

TopoART [14] объединяет нечеткое ART с топологическими обучающими сетями, такими как растущий нейронный газ . Кроме того, он добавляет механизм шумоподавления. Существует несколько производных нейронных сетей, которые расширяют TopoART для дальнейших парадигм обучения.

Hypersphere ART [15] и Hypersphere ARTMAP [15] тесно связаны с fuzzy ART и fuzzy ARTMAP соответственно. Но поскольку они используют другой тип представления категорий (а именно гиперсферы), они не требуют, чтобы их входные данные были нормализованы до интервала [0, 1]. Они применяют меры сходства, основанные на норме L2 .

LAPART [16] Нейронные сети Laterally Primed Adaptive Resonance Theory (LAPART) объединяют два алгоритма Fuzzy ART для создания механизма для прогнозирования на основе изученных ассоциаций. Объединение двух Fuzzy ART обладает уникальной стабильностью, которая позволяет системе быстро сходиться к четкому решению. Кроме того, он может выполнять логический вывод и контролируемое обучение, аналогичное нечеткому ARTMAP.

Критика

Было отмечено, что результаты Fuzzy ART и ART 1 (т. е. изученные категории) критически зависят от порядка, в котором обрабатываются обучающие данные. Эффект может быть уменьшен в некоторой степени за счет использования более медленной скорости обучения, но присутствует независимо от размера входного набора данных. Следовательно, оценки Fuzzy ART и ART 1 не обладают статистическим свойством согласованности . [ 17] Эту проблему можно рассматривать как побочный эффект соответствующих механизмов, обеспечивающих стабильное обучение в обеих сетях.

Более продвинутые сети ART, такие как TopoART и Hypersphere TopoART, которые объединяют категории в кластеры, могут решить эту проблему, поскольку формы кластеров не зависят от порядка создания связанных категорий. (ср. рис. 3(g, h) и рис. 4 из [18] ).

Ссылки

  1. ^ Карпентер, GA и Гроссберг, S. (2003), Теория адаптивного резонанса, архив 2006-05-19 в Wayback Machine , в Майкле А. Арбибе (ред.), Справочник по теории мозга и нейронным сетям, второе издание (стр. 87-90). Кембридж, Массачусетс: MIT Press
  2. ^ Гроссберг, С. (1987), Конкурентное обучение: от интерактивной активации к адаптивному резонансу Архивировано 07.09.2006 в Wayback Machine , Cognitive Science (журнал) , 11, 23-63
  3. ^ Карпентер, GA и Гроссберг, S. (1987), ART 2: Самоорганизация кодов распознавания стабильной категории для аналоговых входных паттернов Архивировано 04.09.2006 в Wayback Machine , Applied Optics , 26(23), 4919-4930
  4. ^ Карпентер, GA, Гроссберг, S., и Розен, DB (1991a), ART 2-A: Адаптивный резонансный алгоритм для быстрого обучения и распознавания категорий Архивировано 19 мая 2006 г. в Wayback Machine , Neural Networks , 4, 493-504
  5. ^ Карпентер, GA и Гроссберг, S. (1990), ART 3: Иерархический поиск с использованием химических трансмиттеров в самоорганизующихся архитектурах распознавания образов Архивировано 06.09.2006 в Wayback Machine , Neural Networks , 3, 129-152
  6. ^ Карпентер, GA, Гроссберг, S., и Рейнольдс, JH (1991), ARTMAP: Контролируемое обучение в реальном времени и классификация нестационарных данных с помощью самоорганизующейся нейронной сети Архивировано 19 мая 2006 г. в Wayback Machine , Neural Networks , 4, 565-588
  7. ^ Карпентер, GA, Гроссберг, S., и Розен, DB (1991b), Нечеткое ART: Быстрое стабильное обучение и категоризация аналоговых паттернов с помощью адаптивной резонансной системы Архивировано 19 мая 2006 г. в Wayback Machine , Neural Networks , 4, 759-771
  8. ^ Карпентер, GA, Гроссберг, S., Маркузон, N., Рейнольдс, JH, & Розен, DB (1992), Fuzzy ARTMAP: архитектура нейронной сети для инкрементального контролируемого обучения аналоговых многомерных карт. Архивировано 19 мая 2006 г. в Wayback Machine , IEEE Transactions on Neural Networks , 3, 698-713.
  9. ^ Мохаммад-Таги Вакил-Багмишех и Никола Павешич. (2003) Быстрая упрощенная нечеткая сеть ARTMAP, Neural Processing Letters, 17(3):273–316
  10. ^ Джеймс Р. Уильямсон. (1996), Gaussian ARTMAP: нейронная сеть для быстрого инкрементального обучения зашумленных многомерных карт, Neural Networks, 9(5):881-897
  11. ^ YR Asfour, GA Carpenter, S. Grossberg и GW Lesher. (1993) Fusion ARTMAP: адаптивная нечеткая сеть для многоканальной классификации. В: Труды Третьей международной конференции по промышленным нечетким системам управления и интеллектуальным системам (IFIS).
  12. ^ Tan, A.-H.; Carpenter, GA; Grossberg, S. (2007). «Интеллект через взаимодействие: на пути к единой теории обучения». В Liu, D.; Fei, S.; Hou, Z.-G.; Zhang, H.; Sun, C. (ред.). Advances in Neural Networks – ISNN 2007. Lecture Notes in Computer Science. Vol. 4491. Berlin, Heidelberg: Springer. pp.  1094– 1103. doi :10.1007/978-3-540-72383-7_128. ISBN 978-3-540-72383-7.
  13. ^ Тан, А.-Х.; Субагджа, Б.; Ван, Д.; Мэн, Л. (2019). «Самоорганизующиеся нейронные сети для универсального обучения и кодирования мультимодальной памяти». Нейронные сети . 120 : 58–73 . doi :10.1016/j.neunet.2019.08.020. PMID  31537437. S2CID  202703163.
  14. ^ Марко Черепанов. (2010) TopoART: иерархическая сеть ART с обучением топологии, в: Труды Международной конференции по искусственным нейронным сетям (ICANN), часть III, LNCS 6354, 157-167
  15. ^ ab Георгиос К. Анагностопулос и Майкл Георгиопоулос. (2000), Hypersphere ART и ARTMAP для неконтролируемого и контролируемого инкрементального обучения, в: Труды Международной объединенной конференции по нейронным сетям (IJCNN), т. 6, 59-64
  16. ^ Sandia National Laboratories (2017) Документация Lapart-python
  17. ^ Сарл, Уоррен С. (1995), Почему статистики не должны пукать. Архивировано 20 июля 2011 г. на Wayback Machine.
  18. ^ Марко Черепанов. (2012) Инкрементальная онлайн-кластеризация с топологически-обучаемой иерархической ART-нейронной сетью с использованием гиперсферических категорий, в: Постер и отраслевые материалы промышленной конференции по интеллектуальному анализу данных (ICDM), 22–34

Вассерман, Филип Д. (1989), Нейронные вычисления: теория и практика, Нью-Йорк: Van Nostrand Reinhold, ISBN 0-442-20743-3 

  • Сайт Стивена Гроссберга
  • Реализация ART для неконтролируемого обучения (ART 1, ART 2A, ART 2A-C и ART distance)
  • Краткое описание алгоритма ART
  • LibTopoART — реализации TopoART для контролируемого и неконтролируемого обучения (TopoART, TopoART-AM, TopoART-C, TopoART-R, Episodic TopoART, Hypersphere TopoART и Hypersphere TopoART-C)
Взято с "https://en.wikipedia.org/w/index.php?title=Адаптивная_резонансная_теория&oldid=1208682745"