Разреженная распределенная память

Разреженная распределенная память ( SDM ) — математическая модель долговременной памяти человека, представленная Пентти Канерва в 1988 году, когда он работал в Исследовательском центре Эймса в НАСА . ^[1]

Эта память демонстрирует поведение, как в теории, так и в эксперименте, которое напоминает поведение, ранее недоступное машинам, например, быстрое распознавание лиц или запахов, открытие новых связей между, казалось бы, не связанными идеями и т. д. Разреженная распределенная память используется для хранения и извлечения больших объемов ( битов ) информации, не фокусируясь на точности, а на сходстве информации. ^[2] Есть некоторые недавние приложения в навигации роботов ^[3] и манипуляции роботами на основе опыта. ^[4]${\displaystyle 2^{1000}}$

Это обобщенная память с произвольным доступом (RAM) для длинных (например, 1000 бит) двоичных слов. Эти слова служат как адресами, так и данными для памяти. Главным свойством памяти является чувствительность к сходству. Это означает, что слово можно прочитать обратно не только указав исходный адрес записи, но и указав близкий к нему, измеряемый числом несовпадающих битов (т. е. расстоянием Хэмминга между адресами памяти ). ^[1]

SDM реализует преобразование из логического пространства в физическое с использованием распределенного представления и хранения данных, аналогично процессам кодирования в человеческой памяти. ^[5] Значение, соответствующее логическому адресу, хранится во многих физических адресах. Этот способ хранения является надежным и недетерминированным. Ячейка памяти не адресуется напрямую. Если входные данные (логические адреса) частично повреждены, мы все равно можем получить правильные выходные данные. ^[6]

Теория памяти математически полна ^[1] и была проверена компьютерным моделированием . Она возникла из наблюдения, что расстояния между точками многомерного пространства напоминают отношения близости между понятиями в человеческой памяти. Теория также практична в том, что основанные на ней воспоминания могут быть реализованы с помощью обычных элементов памяти с произвольным доступом . ^[7]

Человеческая память имеет тенденцию объединять воспоминания на основе сходств между ними (хотя они могут быть не связаны), например, «пожарные машины красные и яблоки красные». ^[8] Разреженная распределенная память является математическим представлением человеческой памяти и использует многомерное пространство для моделирования больших объемов памяти, имитирующих память человеческой нейронной сети. ^{[9] [10]} Важным свойством таких многомерных пространств является то, что два случайно выбранных вектора находятся относительно далеко друг от друга, что означает, что они некоррелированы. ^[11] SDM можно считать реализацией локально-чувствительного хеширования .

Основная идея SDM заключается в отображении огромной двоичной памяти на меньший набор физических расположений, так называемых жестких расположений . В качестве общего правила, эти жесткие расположения должны быть равномерно распределены в виртуальном пространстве , чтобы максимально точно имитировать существование большего виртуального пространства. Каждый элемент данных хранится распределенным по набору жестких расположений и извлекается путем усреднения этих расположений. Поэтому отзыв может быть не идеальным, точность зависит от насыщенности памяти.

Предложение Канервы основано на четырех основных идеях: ^[12]

1. Булевое пространство , или точки в измерениях, демонстрирует свойства, которые похожи на интуитивные представления людей об отношениях между концепциями. Это означает, что имеет смысл хранить данные как точки упомянутого пространства, где каждый элемент памяти хранится как n-битный вектор.${\displaystyle \{0,1\}^{n}}$${\displaystyle 2^{n}}$${\displaystyle 10^{0}<n<10^{5}}$
2. Нейроны с n входами могут использоваться как декодеры адресов оперативной памяти
3. Принцип унификации: данные, хранящиеся в памяти, могут использоваться как адреса к той же памяти. Расстояние между двумя точками является мерой сходства между двумя элементами памяти. Чем ближе точки, тем более похожи хранимые векторы.
4. Время можно проследить в памяти в зависимости от того, где хранятся данные, если данные организованы в виде последовательности событий.

SDM работает с n-мерными векторами с двоичными компонентами. В зависимости от контекста векторы называются точками, шаблонами, адресами, словами, элементами памяти, данными или событиями. Этот раздел в основном посвящен свойствам векторного пространства N = . Пусть n — число измерений пространства. Тогда число точек или возможных элементов памяти равно . Мы обозначим это число через N и будем использовать N и для обозначения самого пространства. ^[6]${\displaystyle \{0,1\}^{n}}$${\displaystyle 2^{n}}$${\displaystyle 2^{n}}$

Концепции, связанные с пространством N: ${\displaystyle \{0,1\}^{n}}$^[6]

• Начало координат , 0: Точка со всеми координатами 0 называется началом координат, 0 = 000...00.
• Дополнение , 'x: Дополнением, или противоположностью, точки x является n-кортеж, в котором единицы есть там, где x есть нули, и наоборот.
• Норма , |x|: Норма точки x — это число единиц в ее двоичном представлении.
• Разность , x − y: Разность двух точек x и y — это n-кортеж, в котором единицы там, где x и y различаются, и нули в остальных местах. Это побитовое « исключающее ИЛИ »: x − y = x ⊕ y. Разность коммутирует: x − y = y − x.
• Расстояние , d(x, y) Расстояние между двумя точками x и y — это число измерений, в которых различаются x и y. Оно называется расстоянием Хэмминга (его квадратный корень — это евклидово расстояние ) и выражается в битах. Расстояние — это норма разности: d(x, y) = |x − y|
• Промежуточность , x:y:z: Точка y находится между точками x и z тогда и только тогда, когда расстояние от x до z равно сумме расстояний от x до y и от y до z; то есть x:y:z ⇔ d(x, z) = d(x, y) + d(y, z). Легко видеть, что каждый бит точки между ними является копией соответствующего бита конечной точки.
• Ортогональность , x ⊥ y: Точка x ортогональна точке y, или они перпендикулярны или индифферентны, тогда и только тогда, когда расстояние между ними равно половине числа измерений: x ⊥ y ⇔ d(x, y) = n/2. Расстояние n/2 называется расстоянием индифферентности пространства N. Если x ортогонален y, он также ортогонален своему дополнению 'y (x находится на полпути между y и 'y).
• Окружность , O(r,x) Окружность с радиусом r и центром x — это множество точек, которые находятся не более чем на r бит от x: O(r,x) = {y | d(x, y) ≤ r}.

Свойства пространства N: ${\displaystyle \{0,1\}^{n}}$^{[1] [6]}

Пространство N может быть представлено вершинами единичного куба в n-мерном евклидовом пространстве . Вершины лежат на поверхности n-мерной сферы с (евклидово-метрическим) радиусом . Это приводит к аналогии со сферой . Мы будем называть пространство сферическим, если${\displaystyle {\sqrt {n}}/2}$

1. любая точка x имеет единственную противоположность 'x,
2. все пространство находится между любой точкой x и ее противоположностью 'x, и
3. все точки «равны» (это означает, что для любых двух точек x и y существует сохраняющий расстояние автоморфизм пространства, который отображает x в y, так что из любой его точки пространство «выглядит» одинаково).

Поверхность сферы (в евклидовом 3d-пространстве) очевидно сферическая. Согласно определению, N также сферическая, поскольку y ⊕ x ⊕ (…) — это автоморфизм, который отображает x в y. Поскольку N сферическая, полезно думать о ней как о поверхности сферы с окружностью 2n. Все точки N в равной степени квалифицируются как точки начала координат, а точка и ее дополнение подобны двум полюсам на расстоянии n друг от друга, со всем пространством между ними. Точки, находящиеся на полпути между полюсами и перпендикулярные им, подобны экватору.

Распределение пространства N

Число точек, которые находятся на расстоянии ровно d бит от произвольной точки x (скажем, от точки 0), представляет собой число способов выбора d координат из общего числа n координат и, следовательно, задается биномиальным коэффициентом : ${\displaystyle {\binom {n}{d}}={\frac {n!}{d!(nd)!}}}$

Распределение N, таким образом, является биномиальным распределением с параметрами n и p, где p = 1/2. Среднее значение биномиального распределения равно n/2, а дисперсия равна n/4. Эту функцию распределения будем обозначать как N(d). Нормальное распределение F со средним значением n/2 и стандартным отклонением является хорошим приближением к нему: N(d) = Pr{d(x, y) ≤ d} ≅ F{(d − n / 2)/ }${\displaystyle {\sqrt {n}}/2}$${\displaystyle {\sqrt {n/4}}}$

Тенденция к ортогональности

Выдающимся свойством N является то, что большая его часть лежит примерно на среднем (безразличном) расстоянии n/2 от точки (и ее дополнения). Другими словами, большая часть пространства почти ортогональна любой заданной точке, и чем больше n, тем сильнее выражен этот эффект.

SDM можно рассматривать как адресное расширение классической памяти с произвольным доступом (RAM) или как особый тип трехслойной нейронной сети прямого распространения . Основные изменения SDM в RAM следующие: ^[13]

• SDM вычисляет расстояния Хэмминга между опорным адресом и каждым адресом местоположения. Для каждого расстояния, которое меньше или равно заданному радиусу, выбирается соответствующее местоположение.
• Память представлена ​​счетчиками (где n — количество ячеек, а m — длина входных данных) вместо однобитовых элементов хранения.
• Запись в память вместо перезаписи происходит следующим образом:
  • если i-бит входных данных равен 1, соответствующие счетчики (счетчики в выбранных местах (строках) и в i-м столбце) увеличиваются,
  • если i-бит входных данных равен 0, соответствующие счетчики уменьшаются.
• Чтение (или припоминание) из памяти происходит аналогично:
  • Содержимое выбранных местоположений суммируется по столбцам.
  • Каждая сумма пороговая. Если сумма больше или равна пороговому значению, соответствующий выходной бит устанавливается в 1, в противном случае он очищается. Обратите внимание, что пороги могут быть нулевыми, если обучающие входные векторы близки к ортогональным.

Идеализированное описание нейрона выглядит следующим образом: нейрон имеет клеточное тело с двумя типами ответвлений: дендритами и аксоном . Он получает входные сигналы от других нейронов через дендриты, интегрирует (суммирует) их и генерирует свой собственный (электрический) выходной сигнал, который отправляется внешним нейронам через аксон. Точки электрического контакта между нейронами называются синапсами .

Когда нейрон генерирует сигнал, он активируется , и после активации он должен восстановиться , прежде чем активироваться снова. Относительная важность синапса для активации нейрона называется синаптическим весом (или входным коэффициентом ). Существует два вида синапсов: возбуждающие , которые запускают нейрон для активации , и тормозные , которые препятствуют активации. Нейрон является либо возбуждающим, либо тормозным в зависимости от типа синапсов, которые создает его аксон. ^[14]

Нейрон активируется, когда сумма входов превышает определенный порог . Чем выше порог, тем важнее, чтобы возбуждающие синапсы имели вход, а тормозные — нет. ^[15] То, действительно ли активируется восстановленный нейрон, зависит от того, получил ли он достаточно возбуждающего входа (выше порога) и не слишком много тормозного входа в течение определенного периода.

Формальная модель нейрона делает дальнейшие упрощающие предположения. ^[16] Нейрон с n входами моделируется линейной пороговой функцией следующим образом:${\displaystyle F:\{0,1\}^{n}->\{0,1\}}$

Для где n — число входов, пусть будет выходом в момент времени t : , и пусть будет i -м входом в момент времени t : . Пусть будет весом i -го входа и пусть будет порогом.${\displaystyle i=0,...,n-1}$${\displaystyle F_{t}}$${\displaystyle F_{t}\in \{0,1\}}$${\displaystyle x_{i,t}}$${\displaystyle x_{i,t}\in \{0,1\}}$${\displaystyle w_{i}}$${\displaystyle с}$

Взвешенная сумма входов в момент времени t определяется как${\displaystyle S_{t}=\sum _{i=0}^{n-1}w_{i}x_{i,t}}$

Выход нейрона в момент времени t затем определяется как булева функция : ${\displaystyle \mathbf {F} _{t}={\begin{cases}1&{\text{если}}S_{t}>=c,\\0&{\text{иначе}}.\end{cases}}}$

Где F _t =1 означает, что нейрон активируется в момент времени t , а F _t =0 — что нет, то есть для того, чтобы нейрон активировался, взвешенная сумма должна достичь или превысить порог. Возбуждающие входы увеличивают сумму, а тормозящие — уменьшают.

Ключевой тезис Канерва ^[1] заключается в том, что некоторые нейроны могут иметь свои входные коэффициенты и пороги, фиксированные на протяжении всей жизни организма, и использоваться в качестве декодеров адресов, где n -кортеж входных коэффициентов (шаблон, на который нейроны реагируют наиболее легко) определяет n -битный адрес памяти, а порог контролирует размер области схожих адресных шаблонов, на которые реагирует нейрон.

Этот механизм является дополнительным к регулируемым синапсам или регулируемым весам в нейронной сети ( обучение конвергенции персептрона ), поскольку этот фиксированный механизм доступа будет постоянной системой отсчета , которая позволяет выбирать синапсы, в которых хранится информация и из которых она извлекается при заданном наборе обстоятельств. Более того, кодирование текущих обстоятельств будет служить адресом.

Адрес a нейрона с входными коэффициентами w , где определяется как n- битный входной шаблон, который максимизирует взвешенную сумму. Максимум достигается, когда ингибирующие входы равны нулю, а возбуждающие входы равны единице. i -й бит адреса равен:${\displaystyle w_{0},..,w_{n_{1}}}$

${\displaystyle \mathbf {a} _{i}={\begin{cases}1&{\text{if }}w_{i}>0,\\0&{\text{if }}w_{i}<0.\end{cases}}}$(предполагая, что веса не равны нулю)

Тогда максимальная взвешенная сумма представляет собой сумму всех положительных коэффициентов: ${\displaystyle S(w)}$${\displaystyle S(w)=\sum _{w_{i}>0}w_{i}}$

А минимальная взвешенная сумма будет соответствовать точке напротив адреса нейрона a`:${\displaystyle s(w)}$${\displaystyle s(w)=\sum _{w_{i}<0}w_{i}}$

Когда порог c находится в диапазоне, выход нейрона равен 0 для некоторых адресов (входных шаблонов) и 1 для других. Если порог выше S, выход всегда равен 0, если он ниже s, выход всегда равен 1. Таким образом, при правильном выборе порога нейрон реагирует только на один адрес. Когда порог равен S (максимум для взвешенной суммы), нейрон реагирует только на свой собственный адрес и действует как декодер адреса обычной памяти с произвольным доступом .${\displaystyle s(w)<c<S(w)}$

SDM разработан для работы с шаблонами адресов, которые охватывают огромное адресное пространство (порядок ). SDM предполагает, что шаблоны адресов, фактически описывающие физические ситуации, представляющие интерес, разбросаны по всему входному пространству. Невозможно зарезервировать отдельное физическое местоположение, соответствующее каждому возможному входу; SDM реализует только ограниченное количество физических или жестких местоположений. Физическое местоположение называется местоположением памяти (или жестким местоположением ). ^[7]${\displaystyle 2^{1000}}$

С каждым жестким местоположением связаны два элемента:

• фиксированный жесткий адрес, который представляет собой N-битный адрес местоположения
• часть содержимого, которая имеет ширину M-бит и может накапливать несколько шаблонов данных M-бит, записанных в ячейку. Часть содержимого не фиксирована; она изменяется шаблонами данных, записанными в память.

В SDM слово может быть сохранено в памяти путем записи его в свободное место хранения и в то же время предоставления места с соответствующим декодером адреса. Нейрон как декодер адреса будет выбирать место на основе сходства адреса места с подсказкой поиска. В отличие от обычных машин Тьюринга SDM использует преимущества параллельных вычислений декодерами адреса . Простой доступ к памяти рассматривается как вычисление, объем которого увеличивается с размером памяти. ^[1]

Вектор N-бит, используемый при записи в память и чтении из нее. Шаблон адреса — это закодированное описание состояния окружающей среды. (Например, N = 256.)

M-битный вектор, который является объектом операций записи и чтения. Как и шаблон адреса, это кодированное описание состояния окружающей среды. (Например, M = 256.)

Запись — это операция сохранения шаблона данных в памяти с использованием определенного шаблона адреса. Во время записи входные данные в память состоят из шаблона адреса и шаблона данных. Шаблон адреса используется для выбора ячеек жесткой памяти, чьи жесткие адреса находятся в пределах определенного расстояния от шаблона адреса. Шаблон данных сохраняется в каждой из выбранных ячеек.

Чтение — это операция извлечения шаблона данных из памяти с использованием определенного шаблона адреса. Во время чтения шаблон адреса используется для выбора определенного количества ячеек жесткой памяти (так же, как и во время записи). Содержимое выбранных ячеек побитно суммируется и порогируется для получения M-битного шаблона данных. Это служит выходом, считанным из памяти.

Все элементы связаны в один список (или массив) указателей на ячейки памяти и хранятся в оперативной памяти. Каждый адрес в массиве указывает на отдельную строку в памяти. Затем эта строка возвращается, если она похожа на другие строки. Нейроны используются как декодеры и кодировщики адресов, подобно тому, как нейроны работают в мозге, и возвращают элементы из массива, которые совпадают или похожи.

Модель памяти Канервы имеет концепцию критической точки : до этой точки ранее сохраненный элемент может быть легко извлечен; но после этой точки элемент не может быть извлечен. Канерва методично вычислил эту точку для определенного набора (фиксированных) параметров. Соответствующее критическое расстояние разреженной распределенной памяти можно приблизительно оценить, минимизируя следующее уравнение с ограничением и . Доказательство можно найти в ^{[17] [18]}${\displaystyle d\in N}$${\displaystyle d\leqslant n}$

${\displaystyle {\tilde {f}}(d)=\left\{{\frac {1}{2}}\cdot \left[1-N\left(z<{\frac {w\cdot shared(d)}{\sqrt {\theta }}}\right)+N\left(z<{\frac {-w\cdot shared(d)}{\sqrt {\theta }}}\right)\right]-{\frac {d}{n}}\right\}^{2}}$

Где:

• ${\displaystyle d}$: расстояние до цели;
• ${\displaystyle n}$: количество измерений;
• ${\displaystyle N}$: нормализованное нормальное распределение со средним значением, равным нулю, и дисперсией, равной единице;
• ${\displaystyle w}$: количество раз, которое целевая битовая строка была записана в память;
• ${\displaystyle \theta }$: сумма случайных битовых строк во всех жестких ячейках, активированных операцией чтения; т. е. размер сборки ячеек;${\displaystyle h}$
• ${\displaystyle shared(d)}$: среднее число общих жестких локаций, активируемых двумя битовыми строками , находящимися друг от друга. Некоторые значения для 1000-мерного SDM можно найти в книге Канервы, Таблица 7.1, стр. 63, или уравнения для расчета любого SDM в Приложении B, стр. 125 той же книги.${\displaystyle d}$

Ассоциативная система памяти, использующая разреженные, распределенные представления, может быть переосмыслена как выборка важности , метод Монте-Карло аппроксимации байесовского вывода . ^[19] SDM можно считать аппроксимацией Монте-Карло для многомерного условного интеграла вероятности. SDM будет выдавать приемлемые ответы из обучающего набора, когда это приближение является действительным, то есть когда обучающий набор содержит достаточно данных для обеспечения хороших оценок базовых совместных вероятностей и есть достаточно выборок Монте-Карло для получения точной оценки интеграла. ^[20]

Разреженное кодирование может быть общей стратегией нейронных систем для увеличения объема памяти. Чтобы адаптироваться к окружающей среде, животные должны узнать, какие стимулы связаны с поощрениями или наказаниями, и отличить эти усиленные стимулы от похожих, но нерелевантных. Такая задача требует внедрения ассоциативной памяти , специфичной для стимула , в которой только несколько нейронов из популяции реагируют на любой заданный стимул, и каждый нейрон реагирует только на несколько стимулов из всех возможных стимулов.

Теоретическая работа Канервы по SDM предполагает, что разреженное кодирование увеличивает емкость ассоциативной памяти за счет уменьшения перекрытия между представлениями. Экспериментально разреженные представления сенсорной информации наблюдались во многих системах, включая зрение, ^[21] слух, ^[22] осязание , ^[23] и обоняние. ^[24] Однако, несмотря на накапливающиеся доказательства широко распространенного разреженного кодирования и теоретические аргументы в пользу его важности, демонстрация того, что разреженное кодирование улучшает специфичность стимула ассоциативной памяти, отсутствовала до недавнего времени.

Определенный прогресс был достигнут в 2014 году лабораторией Геро Мизенбека в Оксфордском университете, анализируя обонятельную систему дрозофилы . ^[25] У дрозофилы разреженное кодирование запаха клетками Кеньона грибовидного тела , как полагают, генерирует большое количество точно адресуемых мест для хранения специфичных для запаха воспоминаний. Лин и др. ^[26] продемонстрировали, что разреженность контролируется отрицательной обратной связью между клетками Кеньона и ГАМКергическим передним парным латеральным (APL) нейроном. Систематическая активация и блокада каждой ветви этой обратной связи показывают, что клетки Кеньона активируют APL, а APL ингибирует клетки Кеньона. Нарушение петли обратной связи между клетками Кеньона и APL уменьшает разреженность реакций на запах клеток Кеньона, увеличивает корреляции между запахами и не позволяет мухам научиться различать похожие, но не разные запахи. Эти результаты показывают, что ингибирование обратной связи подавляет активность клеток Кеньона для поддержания разреженного, декоррелированного кодирования запаха и, таким образом, специфичности запаха воспоминаний. Публикация 2017 года в журнале Science ^[27] показала, что обонятельная схема мухи реализует улучшенную версию бинарного локально-чувствительного хеширования с помощью разреженных случайных проекций.

В приложениях памяти слова являются моделями признаков. Некоторые признаки производятся сенсорной системой, другие контролируют двигательную систему. Существует текущий шаблон (например, 1000 бит), который является текущим содержимым фокуса системы . Датчики поступают в фокус, двигатели приводятся в действие из фокуса, и доступ к памяти осуществляется через фокус.

То, что происходит в мире – «субъективный» опыт системы – внутренне представлено последовательностью шаблонов в фокусе. Память хранит эту последовательность и может воссоздать ее позже в фокусе, если обратиться к шаблону, похожему на тот, который встречался в прошлом. Таким образом, память учится предсказывать , что должно произойти. Широкое применение памяти будет в системах, которые имеют дело с информацией реального мира в реальном времени.

Приложения включают зрение  – обнаружение и идентификацию объектов на сцене и предвосхищение последующих сцен – робототехнику , обнаружение и проверку сигналов , а также адаптивное обучение и контроль . С теоретической стороны, работа памяти может помочь нам понять память и обучение у людей и животных. ^{[7] [28]}

SDM можно применять к задаче поиска наилучшего соответствия тестовому слову в наборе данных сохранённых слов. ^{[1] [29]} или, другими словами, к задаче поиска ближайшего соседа .

Рассмотрим память с N ячейками, где . Пусть каждая ячейка имеет емкость для одного n -битного слова (например, N = 2 ¹⁰⁰ 100-битных слов), и пусть декодирование адреса выполняется N нейронами декодера адреса. Установите порог каждого нейрона x на его максимальную взвешенную сумму и используйте общий параметр d для настройки всех порогов при доступе к памяти. Эффективный порог нейрона x будет тогда , что означает, что ячейка x доступна каждый раз, когда адрес x находится в пределах d бит адреса, представленного в памяти (т. е. адреса, хранящегося в регистре адреса). С у нас есть обычная память с произвольным доступом . Предположим далее, что каждая ячейка имеет специальный бит , занятый ячейкой , к которому можно получить доступ так же, как и к обычным битам данных. Запись слова в ячейку устанавливает этот бит , занятый ячейкой . Предположим, что можно прочитать только занятую ячейку.${\displaystyle N=2^{n}}$${\displaystyle |x|}$${\displaystyle x-|d|}$${\displaystyle d=0}$

Чтобы записать данные в память, начните с установки и выдачи команды на очистку бита занятого местоположения . Эта единственная операция помечает всю память как незанятую независимо от значений регистра адреса. Затем установите и запишите каждое слово y набора данных с самим y в качестве адреса. Обратите внимание, что каждая операция записи влияет только на одно местоположение: местоположение y . Таким образом, время заполнения пропорционально количеству слов в наборе данных.${\displaystyle d=n}$${\displaystyle d=0}$

Поиск наилучшего соответствия для тестового слова z включает размещение z в регистре адреса и нахождение наименьшего расстояния d , для которого есть занятое место. Мы можем начать поиск, последовательно устанавливая и увеличивая d, пока не будет найдено занятое место. Этот метод дает среднее время поиска, пропорциональное количеству адресных бит или немного меньше ^[1], поскольку можно ожидать, что ближайшее занятое место будет находиться чуть меньше бит от z (при бинарном поиске по d это будет O(log(n)).${\displaystyle d=0}$${\displaystyle n/2}$${\displaystyle n/2}$

При 100-битных словах потребуется 2 ^{100 ячеек, т. е. чрезвычайно большая память. Однако,} если мы создаем память, сохраняя слова набора данных, нам понадобится только одна ячейка (и один декодер адреса) для каждого слова набора данных. Ни одна из незанятых ячеек не должна присутствовать. Это представляет собой аспект разреженности в SDM.

SDM может применяться при транскрибировании речи , при этом обучение состоит из «прослушивания» большого корпуса устной речи . Две сложные проблемы с естественной речью — как обнаружить границы слов и как подстроиться под разных говорящих. Память должна уметь справляться с обеими. Во-первых, она хранит последовательности шаблонов в виде цепочек указателей. При обучении — при прослушивании речи — она будет строить вероятностную структуру с самой высокой частотой разветвлений на границах слов. При транскрибировании речи эти точки разветвления обнаруживаются и, как правило, разбивают поток на сегменты, соответствующие словам. Во-вторых, чувствительность памяти к сходству — это ее механизм для подстройки под разных говорящих — и под изменения в голосе одного и того же говорящего. ^[7]

Функции распада

В Мемфисском университете Ума Рамамурти, Сидни К. Д'Мелло и Стэн Франклин создали модифицированную версию системы разреженной распределенной памяти, которая представляет собой «осознание забывания». Она использует уравнение распада для лучшего отображения помех в данных. Система разреженной распределенной памяти распределяет каждый шаблон примерно в одну сотую часть мест, ^{[ необходимо разъяснение ],} поэтому помехи могут иметь пагубные результаты. ^[30]

Представлены два возможных примера распада этой модифицированной разреженной распределенной памяти.

Механизм экспоненциального распада:${\displaystyle \!f(x)=1+e^{-ax}}$

Механизм распада отрицательно-транслируемой сигмовидной формы:${\displaystyle f(x)=1-[{\frac {1}{1+e^{-a(x-c)}}}]}$

В экспоненциальной функции распада она приближается к нулю быстрее, когда x увеличивается, а a является константой (обычно между 3-9), а c является счетчиком. Для отрицательно- транслированной сигмоидальной функции распад аналогичен экспоненциальной функции распада, когда a больше 4. ^[30]

Приближаясь к 0, график отображает процесс забывания памяти с использованием механизмов распада.

Ашраф Анвар, Стэн Франклин и Дипанкар Дасгупта из Мемфисского университета предложили модель инициализации SDM с использованием генетических алгоритмов и генетического программирования (1999).

Генетическая память использует генетический алгоритм и разреженную распределенную память как псевдоискусственную нейронную сеть. Она рассматривалась для использования в создании искусственной жизни. ^[31]

SDM применялся к статистическому прогнозированию , задаче связывания чрезвычайно больших векторов перцептуального состояния с будущими событиями. В условиях близкой или избыточной емкости, когда ассоциативное поведение памяти модели нарушается, обработка, выполняемая моделью, может быть интерпретирована как обработка статистического предиктора, и каждый счетчик данных в SDM может рассматриваться как независимая оценка условной вероятности того, что двоичная функция f будет равна набору активации, определенному местоположением памяти счетчика. ^[32]

• LIDA использует разреженную распределенную память для помощи в моделировании познания в биологических системах. Разреженная распределенная память помещает пространство, вспоминая или распознавая объект, который он имеет по отношению к другим объектам. Она была разработана Стэном Франклином, создателем «осознающей забывчивости» модифицированной системы разреженной распределенной памяти. ^[33] Кратковременные эпизодические и декларативные воспоминания имеют распределенные представления в LIDA (основанные на модифицированной версии SDM ^[34] ), есть доказательства, что это также имеет место в нервной системе. ^[35]
• CMatie — это «сознательный» программный агент, разработанный для управления объявлениями семинаров на кафедре математических наук в Мемфисском университете . Он основан на SDM, дополненном использованием генетических алгоритмов в качестве ассоциативной памяти . ^[36]
• Иерархическая временная память использует SDM для хранения разреженных распределенных представлений данных.

SDM предоставляют линейную схему аппроксимации локальной функции , разработанную для работы, когда очень большое/высокоразмерное входное (адресное) пространство должно быть отображено в гораздо меньшую физическую память . В общем, локальные архитектуры, включая SDM, могут быть подвержены проклятию размерности , поскольку некоторые целевые функции могут потребовать, в худшем случае, экспоненциального числа локальных единиц для точной аппроксимации по всему входному пространству. Однако широко распространено мнение, что большинству систем принятия решений нужна высокая точность только вокруг низкоразмерных многообразий пространства состояний или важных «магистралей» состояний. ^[37] Работа Ратича и др. ^[38] объединила модель памяти SDM с идеями обучения на основе памяти , которое предоставляет аппроксиматор, который может динамически адаптировать свою структуру и разрешение для того, чтобы находить области пространства состояний, которые «более интересны» ^[39] , и выделять пропорционально больше ресурсов памяти для их точного моделирования.

Лаборатория Даны Х. Балларда ^[40] продемонстрировала универсальную технику индексации объектов для компьютерного зрения , которая сочетает достоинства анализа главных компонентов с благоприятными свойствами сопоставления многомерных пространств для достижения высокоточного распознавания. Алгоритм индексации использует активную систему зрения в сочетании с модифицированной формой SDM и предоставляет платформу для изучения связи между внешним видом объекта и его идентичностью.

Было предложено много расширений и улучшений SDM, например:

• Пространство троичной памяти: Это позволяет использовать память в качестве временной эпизодической памяти (TEM) в когнитивных программных агентах . TEM — это память с высокой специфичностью и низкой степенью сохранения, используемая для событий, имеющих особенности определенного времени и места. ^{[41] [42]}
• Целочисленный SDM, который использует модульные арифметические целочисленные векторы вместо двоичных векторов. Это расширение улучшает возможности представления памяти и является более надежным по сравнению с нормализацией. Его также можно расширить для поддержки забывания и надежного хранения последовательностей. ^[11]
• Использование векторов слов большего размера, чем адресные векторы: Это расширение сохраняет многие из желаемых свойств исходного SDM: автоассоциируемость, адресуемость содержимого, распределенное хранение и надежность по шумным входам. Кроме того, оно добавляет новые функциональные возможности, позволяя эффективное автоассоциативное хранение последовательностей векторов, а также других структур данных, таких как деревья. ^[43]
• Построение SDM из спайковых нейронов : несмотря на биологическое сходство SDM, большая часть работ, предпринятых для демонстрации его возможностей на сегодняшний день, использовала высоко искусственные модели нейронов, которые абстрагируются от реального поведения нейронов в мозге . Недавняя работа лаборатории Стива Фербера в Университете Манчестера ^{[44] [45] [46]} предложила адаптации к SDM, например, путем включения кодов ранга N-из-M ^{[47] [48]} в то, как популяции нейронов могут кодировать информацию, что может сделать возможным построение варианта SDM из биологически правдоподобных компонентов. Эта работа была включена в SpiNNaker (Spiking Neural Network Architecture) , которая используется в качестве нейроморфной вычислительной платформы для проекта «Человеческий мозг» . ^[49]
• Неслучайное распределение расположений: ^{[50] [51]} Хотя расположения хранения изначально распределены случайным образом в двоичном адресном пространстве N, окончательное распределение расположений зависит от представленных входных шаблонов и может быть неслучайным, что обеспечивает большую гибкость и обобщение . Шаблон данных сначала сохраняется в расположениях, которые находятся ближе всего к входному адресу. Затем сигнал (т. е. шаблон данных) распространяется по всей памяти, и небольшой процент силы сигнала (например, 5%) теряется в каждом последующем обнаруженном расположении. Распределение сигнала таким образом устраняет необходимость в выборе радиуса чтения/записи, одной из проблемных особенностей исходного SDM. Все расположения, выбранные в операции записи, теперь не получают копию исходного двоичного шаблона с равной силой. Вместо этого они получают копию шаблона, взвешенную с действительным значением от 1,0 до 0,05, для хранения в действительных счетчиках (а не в двоичных счетчиках в SDM Канервы). Это вознаграждает ближайшие местоположения большей силой сигнала и использует естественную архитектуру SDM для ослабления силы сигнала. Аналогично при чтении из памяти выход из ближайших местоположений получает больший вес, чем из более удаленных местоположений. Новый метод сигнала позволяет использовать общую силу сигнала, полученную местоположением, в качестве меры пригодности местоположения и является гибким для изменения входных данных (поскольку коэффициент потерь не должен меняться для входных шаблонов разной длины).
• SDMSCue (разреженная распределенная память для небольших сигналов): Ашраф Анвар и Стэн Франклин из Мемфисского университета в 2002 году представили вариант SDM, способный обрабатывать небольшие сигналы, а именно SDMSCue. Основная идея заключается в использовании множественных операций чтения/записи и пространственных проекций для достижения последовательно более длинного сигнала. ^[52]

• Метод и устройство для разреженной распределенной системы памяти US 5113507 A, Ассоциация космических исследований университетов , 1992 ^[53]
• Метод и устройство для хранения и вызова информации, реализующие систему памяти Канервы, патент США 5829009 A, Texas Instruments , 1998 ^[54]
• Цифровая память, Фербер, Стивен. US 7512572 B2, 2009 ^[55]

This section's use of external links may not follow Wikipedia's policies or guidelines. Please improve this article by removing excessive or inappropriate external links, and converting useful links where appropriate into footnote references. (February 2023) (Learn how and when to remove this message)

• Двоичные векторные символы C (CBVS): включает реализацию SDM на языке C как часть векторной символической архитектуры ^[56], разработанной EISLAB в Технологическом университете Лулео : http://pendicular.net/cbvs.php Архивировано 25 сентября 2015 г. на Wayback Machine ^[57]
• CommonSense ToolKit (CSTK) для обработки данных датчиков в реальном времени, разработанный в Ланкастерском университете, включает реализацию SDM на языке C++ : http://cstk.sourceforge.net/ ^[58]
• Реализация Julia Брайаном Хейсом : https://github.com/bit-player/sdm-julia ^[59]
• Learning Intelligent Distribution Agent (LIDA), разработанный лабораторией Стэна Франклина в Мемфисском университете, включает реализацию SDM на языке Java : http://ccrg.cs.memphis.edu/framework.html
• Реализация Python : https://github.com/msbrogli/sdm ^[60]
• Реализация Python и OpenCL : https://github.com/msbrogli/sdm-framework ^[60]
• Реализация АПЛ ^[61]
• Реализация LISP для Connection Machine ^[62]
• Реализация ПЛИС ^[63]
• Оригинальная аппаратная реализация, разработанная NASA ^[7]
• Реализация на языке C, выполненная в Научно-исследовательском институте передовой компьютерной науки в NASA Ames ^[64]

• Автоассоциативная память
• Контроллер артикуляции мозжечковой модели
• Динамические сети памяти
• Голографическая ассоциативная память
• Код с низкой плотностью проверки на четность
• Сети памяти
• Фреймворк прогнозирования памяти
• Нейронное кодирование
• Нейронная машина Тьюринга
• Случайная индексация
• Самоорганизующаяся карта
• Семантическая складчатость
• Семантическая память
• Семантическая сеть
• Стекированные автокодировщики
• Теория визуальной индексации