АДАЛИН
Ранняя однослойная искусственная нейронная сеть
Обучение внутри однослойного ADALINE
Фотография машины ADALINE с ручной регулировкой веса с помощью реостатов
Схема одного блока ADALINE [1]

ADALINE ( Adaptive Linear Neuron или позже Adaptive Linear Element ) — ранняя однослойная искусственная нейронная сеть и название физического устройства, которое ее реализовало. [2] [3] [1] [4] [5] Она была разработана профессором Бернардом Уидроу и его докторантом Марсианом Хоффом в Стэнфордском университете в 1960 году. Она основана на персептроне и состоит из весов, смещения и функции суммирования. Веса и смещения были реализованы реостатами (как видно в «шишковатом ADALINE»), а позднее — мемисторами .

Разница между Адалин и стандартным (Розенблатта) персептроном заключается в том, как они обучаются. Веса единиц Адалина корректируются для соответствия сигналу учителя перед применением функции Хевисайда (см. рисунок), но веса единиц стандартного персептрона корректируются для соответствия правильному выходу после применения функции Хевисайда.

Многослойная сеть единиц ADALINE известна как MADALINE .

Определение

Adaline — это однослойная нейронная сеть с несколькими узлами, где каждый узел принимает несколько входов и генерирует один выход. При наличии следующих переменных:

  • х {\displaystyle x} , входной вектор
  • ж {\displaystyle w} , весовой вектор
  • н {\displaystyle n} , количество входов
  • θ {\displaystyle \тета} , некоторая константа
  • у {\displaystyle у} , выход модели,

выходной сигнал:

у = ∑ дж = 1 н х дж ж дж + θ {\displaystyle y=\sum _{j=1}^{n}x_{j}w_{j}+\theta }

Если мы далее предположим, что и , то вывод дополнительно уменьшится до: x 0 = 1 {\displaystyle x_{0}=1} w 0 = θ {\displaystyle w_{0}=\theta }

y = ∑ j = 0 n x j w j {\displaystyle y=\sum _{j=0}^{n}x_{j}w_{j}}

Правило обучения

Правило обучения , используемое ADALINE, — это алгоритм LMS («наименьших средних квадратов»), частный случай градиентного спуска .

Учитывая следующее:

  • η {\displaystyle \eta } , скорость обучения
  • y {\displaystyle y} , выход модели
  • o {\displaystyle o} , целевой (желаемый) выход
  • E = ( o − y ) 2 {\displaystyle E=(o-y)^{2}} , квадрат ошибки,

Алгоритм LMS обновляет веса следующим образом:

w ← w + η ( o − y ) x {\displaystyle w\leftarrow w+\eta (o-y)x}

Это правило обновления минимизирует квадрат ошибки [6] и фактически является обновлением стохастического градиентного спуска для линейной регрессии . [7] E {\displaystyle E}

МАДАЛИН

MADALINE (Many ADALINE [8] ) — это трехслойная (вход, скрытый, выход), полностью связанная, архитектура нейронной сети прямого распространения для классификации , которая использует блоки ADALINE в своих скрытых и выходных слоях. То есть, ее функция активации — это функция знака . [9] Трехслойная сеть использует мемисторы . Поскольку функция знака недифференцируема, обратное распространение нельзя использовать для обучения сетей MADALINE. Поэтому были предложены три различных алгоритма обучения, называемые Правилом I, Правилом II и Правилом III.

Несмотря на многочисленные попытки, им так и не удалось обучить более одного слоя весов в модели MADALINE. Это было до тех пор, пока Видроу не увидел алгоритм обратного распространения на конференции 1985 года в Сноуберде, штат Юта . [10]

Правило MADALINE 1 (MRI) - Первое из них датируется 1962 годом. [11] Оно состоит из двух слоев: первый состоит из единиц ADALINE (пусть выход th единицы ADALINE будет ); второй слой имеет два блока. Один - это блок большинства, который принимает все , и если положительных значений больше, чем отрицательных, выводит +1, и наоборот. Другой - это "распределитель заданий": предположим, что желаемый выход равен -1 и отличается от выхода, выбранного большинством голосов, тогда распределитель заданий вычисляет минимальное количество единиц ADALINE, которые должны изменить свои выходы с положительных на отрицательные, и выбирает те единицы ADALINE, которые ближе всего к отрицательным, и заставляет их обновлять свои веса в соответствии с правилом обучения ADALINE. Это рассматривалось как форма "принципа минимального возмущения". [12] i {\displaystyle i} o i {\displaystyle o_{i}} o i {\displaystyle o_{i}}

Самая большая построенная машина MADALINE имела 1000 весов, каждый из которых был реализован мемистором. Она была построена в 1963 году и использовала МРТ для обучения. [12] [13]

Было продемонстрировано, что некоторые машины MADALINE выполняют такие задачи, как балансировка перевернутого маятника , прогнозирование погоды и распознавание речи . [3]

Правило MADALINE 2 (MRII) - Второй алгоритм обучения, описанный в 1988 году, усовершенствовал Правило I. [8] Алгоритм обучения Правила II основан на принципе, называемом «минимальное возмущение». Он действует путем циклического обхода обучающих примеров, и для каждого примера он:

  • находит скрытый слой (классификатор ADALINE) с наименьшей уверенностью в его прогнозе,
  • предварительно меняет знак единицы,
  • принимает или отклоняет изменение в зависимости от того, уменьшилась ли ошибка сети,
  • останавливается, когда ошибка становится равной нулю.

Правило 3 MADALINE — Третье «правило» применялось к модифицированной сети с сигмоидальными активациями вместо знака; позднее было обнаружено, что оно эквивалентно обратному распространению. [12]

Кроме того, когда изменение знаков отдельных единиц не приводит к снижению ошибки до нуля для конкретного примера, алгоритм обучения начинает менять знаки пар единиц, затем троек единиц и т. д. [8]

Смотрите также

Ссылки

  1. ^ ab 1960: Адаптивный нейрон «ADALINE», использующий химические «мемисторы»
  2. ^ Андерсон, Джеймс А.; Розенфельд, Эдвард (2000). Говорящие сети: устная история нейронных сетей. MIT Press. ISBN 9780262511117.
  3. ^ ab Youtube: widrowls: Наука в действии
  4. ^ Youtube: widrowlms: Алгоритм LMS и ADALINE. Часть I - Алгоритм LMS
  5. ^ Youtube: widrowlms: Алгоритм LMS и ADALINE. Часть II - ADALINE и мемистор ADALINE
  6. ^ "Adaline (Adaptive Linear)" (PDF) . CS 4793: Введение в искусственные нейронные сети . Кафедра компьютерных наук, Техасский университет в Сан-Антонио.
  7. ^ Ави Пфеффер. "CS181 Лекция 5 — Персептроны" (PDF) . Гарвардский университет.[ постоянная мертвая ссылка ‍ ]
  8. ^ abc Родни Винтер; Бернард Видроу (1988). ПРАВИЛО MADALINE II: Алгоритм обучения нейронных сетей (PDF) . Международная конференция IEEE по нейронным сетям. стр.  401–408 . doi :10.1109/ICNN.1988.23872.
  9. ^ Youtube: widrowlms: Наука в действии (Мадалин упоминается в начале и в 8:46)
  10. ^ Андерсон, Джеймс А.; Розенфельд, Эдвард, ред. (2000). Говорящие сети: устная история нейронных сетей. MIT Press. doi :10.7551/mitpress/6626.003.0004. ISBN 978-0-262-26715-1.
  11. ^ Видроу, Бернард (1962). «Обобщение и хранение информации в сетях адалиновых нейронов» (PDF) . Самоорганизующиеся системы : 435–461 .
  12. ^ abc Widrow, Bernard; Lehr, Michael A. (1990). "30 лет адаптивных нейронных сетей: персептрон, мадалин и обратное распространение". Труды IEEE . 78 (9): 1415– 1442. doi :10.1109/5.58323. S2CID  195704643.
  13. ^ Б. Видроу, «Адалин и Мадалин-1963, пленарная речь», Труды 1-й Международной конференции по нейронным сетям EEE, том 1, стр. 145-158, Сан-Диего, Калифорния, 23 июня 1987 г.
  • widrowlms (2012-07-29). Алгоритм LMS и ADALINE. Часть II - ADALINE и мемистор ADALINE . Получено 2024-08-17 – через YouTube.Видроу демонстрирует как работающую узловатую машину ADALINE, так и мемисторную машину ADALINE.
  • «Правило дельта-обучения: АДАЛИН». Искусственные нейронные сети . Политехнический университет Мадрида. Архивировано из оригинала 15 июня 2002 г.
  • «Многослойные нейронные сети на основе мемристоров с онлайн-обучением градиентным спуском». Реализация алгоритма ADALINE с мемристорами в аналоговых вычислениях.
Retrieved from "https://en.wikipedia.org/w/index.php?title=ADALINE&oldid=1257356233"