Префронтальная кора базальные ганглии рабочая память

Рабочая память базальных ганглиев префронтальной коры ( PBWM ) — это алгоритм , который моделирует рабочую память в префронтальной коре и базальных ганглиях . ^[1]

По функциональности ее можно сравнить с долговременной кратковременной памятью (LSTM), но она более объяснима с биологической точки зрения. ^{[1] [2]}

Он использует модель первичной ценности усвоенного значения для тренировки системы обновления рабочей памяти префронтальной коры, основанной на биологии префронтальной коры и базальных ганглиев. ^[3]

Он используется как часть фреймворка Leabra и был реализован в Emergent в 2019 году.

Долгое время считалось, что префронтальная кора отвечает как за рабочую память (хранение информации в режиме онлайн для обработки), так и за «исполнительные» функции (решение, как манипулировать рабочей памятью и выполнять обработку). Хотя было разработано множество вычислительных моделей рабочей памяти , механистическая основа исполнительной функции остается неясной.

PBWM — это вычислительная модель префронтальной коры для управления как собой, так и другими областями мозга стратегическим, соответствующим задаче образом. Эти механизмы обучения основаны на подкорковых структурах в среднем мозге, базальных ганглиях и миндалевидном теле, которые вместе образуют архитектуру актера/критика. Система критика узнает, какие префронтальные представления имеют отношение к задаче, и обучает актера, что, в свою очередь, обеспечивает динамический механизм стробирования для управления обновлением рабочей памяти. С вычислительной точки зрения механизм обучения разработан для одновременного решения временных и структурных проблем присвоения кредитов.

Производительность модели выгодно отличается от стандартных механизмов временного обучения на основе обратного распространения ошибки при решении сложной задачи рабочей памяти 1-2-AX и других эталонных задач рабочей памяти. ^{[1] [ необходим независимый источник ]}

Во-первых, в слоях префронтальной коры и полосатого тела есть несколько отдельных полос (групп единиц) . Каждая полоса может обновляться независимо, так что эта система может помнить несколько разных вещей одновременно, каждая с разной «политикой обновления» того, когда воспоминания обновляются и поддерживаются. Активное поддержание памяти происходит в префронтальной коре (ПФК), а сигналы обновления (и политика обновления в более общем смысле) поступают из единиц полосатого тела (подмножество единиц базальных ганглиев ). ^[3]

PVLV подает сигналы обучения с подкреплением для тренировки динамической системы управления в базальных ганглиях.

Сенсорный вход связан с задней корой , которая связана с моторным выходом. Сенсорный вход также связан с системой PVLV .

Задняя кора формирует скрытые слои отображения входа/выхода. Префронтальная кора связана с задней корой для контекстуализации этого отображения входа/выхода.

PFC (для выходного стробирования) имеет локальное представление один к одному входных единиц для каждой полосы. Таким образом, вы можете посмотреть на эти представления PFC и непосредственно увидеть, что поддерживает сеть. PFC поддерживает рабочую память, необходимую для выполнения задачи.

Это динамическая система пропускания, представляющая единицы полосатого тела базальных ганглиев . Каждая единица с четным индексом в полосе представляет "Go", а единицы с нечетным индексом представляют "NoGo". Единицы Go вызывают обновление PFC, а единицы NoGo заставляют PFC поддерживать существующее представление памяти.

Для каждой полосы имеются группы подразделений.

В модели PBWM в Emergent матрицы представляют полосатое тело.

Все эти слои являются частью системы PVLV . Система PVLV контролирует дофаминергическую модуляцию базальных ганглиев (BG). Таким образом, BG/PVLV формируют архитектуру актер-критик, где система PVLV учится, когда обновляться. ^{[ необходима цитата ]}

SNrThal представляет собой substantia nigra pars reticulata (SNr) и связанную с ней область таламуса , которые создают конкуренцию между единицами Go/NoGo в пределах данной полосы и опосредуют конкуренцию, используя динамику k-победители-забирают-все . Если в данной полосе наблюдается большая общая активность Go, то активируется связанная с ней единица SNrThal, которая запускает обновление в PFC. Для каждой полосы в SNrThal есть одна единица. ^{[ необходима цитата ]}

Вентральная область покрышки (VTA) и компактная часть черной субстанции (SNc) являются частью дофаминового слоя. Этот слой моделирует дофаминовые нейроны среднего мозга. Они контролируют дофаминергическую модуляцию базальных ганглиев. ^{[ необходима цитата ]}

• Состояние–действие–вознаграждение–состояние–действие
• Картографирование Сэммона
• Построение деревьев навыков