Контроллер артикуляции мозжечковой модели

Блок-схема системы CMAC для одного сочленения. Вектор S представлен как вход для всех сочленений. Каждое сочленение отдельно вычисляет отображение S -> A* и сигнал привода сочленения pi. Регулируемые веса для всех сочленений могут находиться в одной и той же физической памяти. [1]

Арифметический компьютер мозжечковой модели ( CMAC ) — это тип нейронной сети, основанный на модели мозжечка млекопитающих . Он также известен как контроллер артикуляции мозжечковой модели. Это тип ассоциативной памяти . [2]

CMAC был впервые предложен в качестве функционального моделировщика для роботизированных контроллеров Джеймсом Альбусом в 1975 году [1] (отсюда и название), но широко использовался в обучении с подкреплением , а также для автоматизированной классификации в сообществе машинного обучения . CMAC является расширением модели персептрона . Он вычисляет функцию для входных измерений. Входное пространство разделено на гиперпрямоугольники, каждый из которых связан с ячейкой памяти. Содержимое ячеек памяти представляет собой веса, которые корректируются во время обучения. Обычно используется более одного квантования входного пространства, так что любая точка во входном пространстве связана с несколькими гиперпрямоугольниками и, следовательно, с несколькими ячейками памяти. Выход CMAC представляет собой алгебраическую сумму весов во всех ячейках памяти, активированных входной точкой. н {\displaystyle n}

Изменение значения входной точки приводит к изменению набора активированных гиперпрямоугольников и, следовательно, к изменению набора ячеек памяти, участвующих в выходе CMAC. Поэтому выход CMAC хранится распределенным образом, так что выход, соответствующий любой точке во входном пространстве, выводится из значения, хранящегося в ряде ячеек памяти (отсюда и название — ассоциативная память). Это обеспечивает обобщение.

Строительные блоки

CMAC, представленный как 2D-пространство

На соседнем изображении есть два входа в CMAC, представленные как 2D-пространство. Две функции квантования были использованы для разделения этого пространства двумя перекрывающимися сетками (одна показана более жирными линиями). Один вход показан около середины, и он активировал две ячейки памяти, соответствующие затененной области. Если другая точка появляется близко к показанной, она будет совместно использовать некоторые из тех же ячеек памяти, обеспечивая обобщение.

CMAC обучается путем представления пар входных точек и выходных значений и корректировки весов в активированных ячейках пропорционально ошибке, наблюдаемой на выходе. Этот простой алгоритм обучения имеет доказательство сходимости. [3]

Обычно к гиперпрямоугольнику добавляют функцию ядра, так что точки, падающие к краю гиперпрямоугольника, имеют меньшую активацию, чем те, которые падают около центра. [4]

Одной из основных проблем, упоминаемых при практическом использовании CMAC, является требуемый размер памяти, который напрямую связан с количеством используемых ячеек. Обычно это улучшается с помощью хэш-функции и предоставления памяти только для фактических ячеек, которые активируются входами.

Одношаговый сходящийся алгоритм

Первоначально метод наименьших квадратов (LMS) использовался для обновления весов CMAC. Сходимость использования LMS для обучения CMAC чувствительна к скорости обучения и может привести к расхождению. В 2004 году [5] был представлен рекурсивный алгоритм наименьших квадратов (RLS) для обучения CMAC онлайн. Ему не нужно настраивать скорость обучения. Его сходимость была доказана теоретически и может быть гарантирована для сходимости за один шаг. Вычислительная сложность этого алгоритма RLS составляет O(N3).

Параллельная конвейерная структура нейронной сети CMAC [6]
Левая панель: действительные функции; правая панель: приближение CMAC с производными

Инфраструктура реализации оборудования

На основе QR-разложения алгоритм (QRLS) был еще больше упрощен до сложности O(N). Следовательно, это значительно снижает использование памяти и временные затраты. Была введена параллельная конвейерная структура массива для реализации этого алгоритма. [6]

В целом, используя алгоритм QRLS, можно гарантировать сходимость нейронной сети CMAC, а веса узлов можно обновить с помощью одного шага обучения. Его параллельная конвейерная структура массива предлагает большой потенциал для внедрения в аппаратное обеспечение для крупномасштабного промышленного использования.

Непрерывный CMAC

Поскольку прямоугольная форма функций рецептивного поля CMAC создает аппроксимацию прерывистой ступенчатой ​​функции, путем интеграции CMAC с функциями B-сплайнов непрерывная CMAC дает возможность получать любой порядок производных аппроксимированных функций.

Глубокий CMAC

В последние годы многочисленные исследования подтвердили, что путем объединения нескольких неглубоких структур в одну глубокую структуру общая система может достичь лучшего представления данных и, таким образом, более эффективно справляться с нелинейными и сложными задачами. В 2018 году [7] была предложена структура глубокого CMAC (DCMAC) и был получен алгоритм обратного распространения для оценки параметров DCMAC. Экспериментальные результаты задачи адаптивного шумоподавления показали, что предлагаемый DCMAC может достичь лучших характеристик шумоподавления по сравнению с обычным однослойным CMAC.

Краткое содержание

МасштабируемостьЛегко распространяется на миллионы нейронов и более
КонвергенцияОбучение всегда можно свести к одному этапу.
Производные функцииПростота получения с помощью интерполяции B-сплайнов
Структура оборудованияПараллельная структура трубопровода
Использование памятиЛинейный относительно числа нейронов
Сложность вычисленийНА)

Смотрите также

Ссылки

  1. ^ ab Albus, JS (1 сентября 1975 г.). «Новый подход к управлению манипулятором: контроллер артикуляции мозжечковой модели (CMAC)». Журнал динамических систем, измерений и управления . 97 (3): 220– 227. doi :10.1115/1.3426922. ISSN  0022-0434.
  2. ^ Альбус, Джеймс С. (август 1979). «Механизмы планирования и решения проблем в мозге». Mathematical Biosciences . 45 ( 3–4 ): 247–293 . doi :10.1016/0025-5564(79)90063-4.
  3. ^ Вонг, И.; Сидерис, А. (январь 1992 г.). «Обучение конвергенции в контроллере артикуляции мозжечковой модели». Труды IEEE по нейронным сетям . 3 (1): 115– 121. doi :10.1109/72.105424. PMID  18276412.
  4. ^ PCE An, WT Miller и PC Parks, Улучшения в конструкции ассоциативной памяти для контроллеров артикуляции мозжечковой модели, Proc. ICANN, стр. 1207–10, 1991.
  5. ^ Цинь, Тин; Чэнь, Цзунхай; Чжан, Хайтао; Ли, Сифу; Сян, Вэй; Ли, Мин (1 февраля 2004 г.). «Алгоритм обучения CMAC на основе RLS». Neural Processing Letters . 19 (1): 49– 61. doi :10.1023/B:NEPL.0000016847.18175.60. ISSN  1573-773X.
  6. ^ ab Qin, Ting; Zhang, Haitao; Chen, Zonghai; Xiang, Wei (1 августа 2005 г.). «Непрерывный CMAC-QRLS и его систолический массив». Neural Processing Letters . 22 (1): 1– 16. doi :10.1007/s11063-004-2694-0. ISSN  1573-773X.
  7. ^ Tsa, Yu; Chu, Hao-Chun; Fang, Shih-Hau; Lee, Junghsi; Lin, Chih-Min (2018). «Адаптивное шумоподавление с использованием контроллера артикуляции Deep Cerebellar Model». IEEE Access . 6 : 37395– 37402. arXiv : 1705.00945 . Bibcode : 2018IEEEA...637395T. doi : 10.1109/ACCESS.2018.2827699. ISSN  2169-3536.

Дальнейшее чтение

  • Альбус, Дж. С. (1971). «Теория мозжечковой функции». В: Математические биологические науки , том 10, номера 1/2, февраль 1971 г., стр. 25–61
  • Альбус, Дж. С. (1975). «Новый подход к управлению манипулятором: контроллер артикуляции мозжечковой модели (CMAC)». В: Труды журнала ASME по динамическим системам, измерениям и управлению , сентябрь 1975 г., стр. 220–227
  • Альбус, Дж. С. (1979). «Механизмы планирования и решения проблем в мозге». В: Математические биологические науки 45, стр. 247–293, 1979.
  • Айван, Л. и Стенгель, Р., «Применение нейронных сетей в топливных процессорах для топливных элементов» в IEEE Transactions on Vehicular Technology , том 50 (1), стр. 125-143, 2001.
  • Цао, И. (2018). «Адаптивное шумоподавление с использованием контроллера артикуляции глубокой мозжечковой модели». В: IEEE Access 6, апрель 2018 г., стр. 37395–37402.
  • Блог о контроллере артикуляции мозжечковой модели (CMAC) Тин Цинь. Подробнее об одношаговом конвергентном алгоритме, разработке кода и т. д.
Retrieved from "https://en.wikipedia.org/w/index.php?title=Cerebellar_model_articulation_controller&oldid=1265985600"