Ограниченная машина Больцмана

Ограниченная машина Больцмана ( RBM ) (также называемая ограниченной моделью Шеррингтона–Киркпатрика с внешним полем или ограниченной стохастической моделью Изинга–Ленца–Литтла ) представляет собой генеративную стохастическую искусственную нейронную сеть , которая может обучаться распределению вероятностей по своему набору входных данных. ^[1]

RBM были первоначально предложены под названием Harmonium Полом Смоленским в 1986 году ^[2] и приобрели известность после того, как Джеффри Хинтон и его коллеги использовали для них алгоритмы быстрого обучения в середине 2000-х годов. RBM нашли применение в снижении размерности , ^[3] классификации , ^[4] совместной фильтрации , ^[5] обучении признакам , ^[6] тематическом моделировании , ^[7] иммунологии , ^[8] и даже в квантовой механике многих тел . ^{[9] [10] [11]}

Их можно обучать как под наблюдением , так и без него , в зависимости от задачи. ^{[ необходима цитата ]}

Как следует из названия, RBM являются вариантом машины Больцмана с тем ограничением, что их нейроны должны образовывать двудольный граф :

• пара узлов из каждой из двух групп единиц (обычно называемых «видимыми» и «скрытыми» единицами соответственно) может иметь симметричное соединение между собой; и
• между узлами внутри группы нет связей.

Напротив, «неограниченные» машины Больцмана могут иметь связи между скрытыми единицами . Это ограничение допускает более эффективные алгоритмы обучения , чем те, которые доступны для общего класса машин Больцмана, в частности, алгоритм контрастной дивергенции на основе градиента . ^[12]

Ограниченные машины Больцмана также могут использоваться в сетях глубокого обучения . В частности, сети глубокого убеждения могут быть сформированы путем «складывания» RBM и опциональной тонкой настройки полученной глубокой сети с помощью градиентного спуска и обратного распространения . ^[13]

Стандартный тип RBM имеет двоично-значные ( булевые ) скрытые и видимые блоки и состоит из матрицы весов размера . Каждый элемент веса матрицы связан со связью между видимым (входным) блоком и скрытым блоком . Кроме того, существуют веса смещения (смещения) для и для . Учитывая веса и смещения, энергия конфигурации (пары булевых векторов) ( v , h ) определяется как${\displaystyle W}$${\displaystyle m\times n}$${\displaystyle (w_{i,j})}$${\displaystyle v_{i}}$${\displaystyle h_{j}}$${\displaystyle a_{i}}$${\displaystyle v_{i}}$${\displaystyle b_{j}}$${\displaystyle h_{j}}$

${\displaystyle E(v,h)=-\sum _{i}a_{i}v_{i}-\sum _{j}b_{j}h_{j}-\sum _{i}\sum _{j}v_{i}w_{i,j}h_{j}}$

или, в матричной записи,

${\displaystyle E(v,h)=-a^{\mathrm {T} }v-b^{\mathrm {T} }h-v^{\mathrm {T} }Wh.}$

Эта энергетическая функция аналогична функции сети Хопфилда . Как и в случае с общими машинами Больцмана, совместное распределение вероятностей для видимых и скрытых векторов определяется в терминах энергетической функции следующим образом: ^[14]

${\displaystyle P(v,h)={\frac {1}{Z}}e^{-E(v,h)}}$

где — это функция распределения, определяемая как сумма всех возможных конфигураций, которую можно интерпретировать как нормализующую константу , гарантирующую, что сумма вероятностей равна 1. Предельная вероятность видимого вектора — это сумма всех возможных конфигураций скрытого слоя, ^[14]${\displaystyle Z}$${\displaystyle e^{-E(v,h)}}$${\displaystyle P(v,h)}$

${\displaystyle P(v)={\frac {1}{Z}}\sum _{\{h\}}e^{-E(v,h)}}$,

и наоборот. Поскольку базовая структура графа RBM является двудольной (что означает отсутствие внутрислойных связей), активации скрытых единиц взаимно независимы при наличии активаций видимых единиц. И наоборот, активации видимых единиц взаимно независимы при наличии активаций скрытых единиц. ^[12] То есть для m видимых единиц и n скрытых единиц условная вероятность конфигурации видимых единиц v при наличии конфигурации скрытых единиц h равна

${\displaystyle P(v|h)=\prod _{i=1}^{m}P(v_{i}|h)}$.

Наоборот, условная вероятность h при заданном v равна

${\displaystyle P(h|v)=\prod _{j=1}^{n}P(h_{j}|v)}$.

Вероятности индивидуальной активации определяются как

${\displaystyle P(h_{j}=1|v)=\sigma \left(b_{j}+\sum _{i=1}^{m}w_{i,j}v_{i}\right)}$и${\displaystyle \,P(v_{i}=1|h)=\sigma \left(a_{i}+\sum _{j=1}^{n}w_{i,j}h_{j}\right)}$

где обозначает логистическую сигмоиду .${\displaystyle \sigma }$

Видимые единицы ограниченной машины Больцмана могут быть многочленными , хотя скрытые единицы являются единицами Бернулли . ^{[ необходимо разъяснение ]} В этом случае логистическая функция для видимых единиц заменяется функцией softmax.

${\displaystyle P(v_{i}^{k}=1|h)={\frac {\exp(a_{i}^{k}+\Sigma _{j}W_{ij}^{k}h_{j})}{\Sigma _{k'=1}^{K}\exp(a_{i}^{k'}+\Sigma _{j}W_{ij}^{k'}h_{j})}}}$

где K — число дискретных значений, которые имеют видимые значения. Они применяются в тематическом моделировании, ^[7] и рекомендательных системах . ^[5]

Ограниченные машины Больцмана являются частным случаем машин Больцмана и марковских случайных полей . ^{[15] [16]}

Графическая модель RBM соответствует модели факторного анализа . ^[17]

Ограниченные машины Больцмана обучаются максимизировать произведение вероятностей, назначенных некоторому обучающему набору (матрице, каждая строка которой рассматривается как видимый вектор ),${\displaystyle V}$${\displaystyle v}$

${\displaystyle \arg \max _{W}\prod _{v\in V}P(v)}$

или, что эквивалентно, для максимизации ожидаемой логарифмической вероятности обучающей выборки, выбранной случайным образом из : ^{[15] [16]}${\displaystyle v}$${\displaystyle V}$

${\displaystyle \arg \max _{W}\mathbb {E} \left[\log P(v)\right]}$

Алгоритм, наиболее часто используемый для обучения RBM, то есть для оптимизации матрицы весов , — это алгоритм контрастной дивергенции (CD), разработанный Хинтоном , изначально разработанный для обучения моделей PoE ( продукт экспертов ). ^{[18] [19]} Алгоритм выполняет выборку Гиббса и используется внутри процедуры градиентного спуска (аналогично тому, как обратное распространение используется внутри такой процедуры при обучении нейронных сетей прямого распространения) для вычисления обновления веса.${\displaystyle W}$

Базовую одношаговую процедуру контрастивной дивергенции (CD-1) для одного образца можно обобщить следующим образом:

1. Возьмите обучающую выборку v , вычислите вероятности скрытых единиц и выберите скрытый вектор активации h из этого распределения вероятностей.
2. Вычислите внешнее произведение v и h и назовите его положительным градиентом .
3. Из h выбираем реконструкцию v' видимых единиц, затем извлекаем из нее скрытые активации h' . (Шаг выборки Гиббса)
4. Вычислите внешнее произведение v ' и h' и назовите его отрицательным градиентом .
5. Пусть обновление матрицы весов будет равно положительному градиенту за вычетом отрицательного градиента, умноженному на некоторую скорость обучения: .${\displaystyle W}$${\displaystyle \Delta W=\epsilon (vh^{\mathsf {T}}-v'h'^{\mathsf {T}})}$
6. Аналогично обновим смещения a и b : , .${\displaystyle \Delta a=\epsilon (v-v')}$${\displaystyle \Delta b=\epsilon (h-h')}$

Практическое руководство по обучению RBM, написанное Хинтоном, можно найти на его домашней странице. ^[14]

This section may be too technical for most readers to understand. Please help improve it to make it understandable to non-experts, without removing the technical details. (August 2023) (Learn how and when to remove this message)

This section needs additional citations for verification. Please help improve this article by adding citations to reliable sources in this section. Unsourced material may be challenged and removed. (August 2023) (Learn how and when to remove this message)

• Разница между Stacked Restricted Boltzmann Machines и RBM заключается в том, что RBM имеет боковые связи внутри слоя, которые запрещены для того, чтобы сделать анализ послушным. С другой стороны, Stacked Boltzmann состоит из комбинации неконтролируемой трехслойной сети с симметричными весами и контролируемого тонко настроенного верхнего слоя для распознавания трех классов.
• Использование Stacked Boltzmann заключается в понимании естественных языков , извлечении документов , генерации изображений и классификации. Эти функции обучаются с помощью неконтролируемой предварительной подготовки и/или контролируемой тонкой настройки. В отличие от ненаправленного симметричного верхнего слоя, с двухсторонним несимметричным слоем для связи для RBM. Ограниченная связь Больцмана состоит из трех слоев с асимметричными весами, и две сети объединены в одну.
• Stacked Boltzmann действительно имеет сходство с RBM, нейрон для Stacked Boltzmann является стохастическим бинарным нейроном Хопфилда, который такой же, как и в Restricted Boltzmann Machine. Энергия как Restricted Boltzmann, так и RBM задается вероятностной мерой Гиббса: . Процесс обучения Restricted Boltzmann похож на RBM. Restricted Boltzmann обучает один слой за раз и приближает состояние равновесия с помощью 3-сегментного прохода, не выполняя обратное распространение. Restricted Boltzmann использует как контролируемый, так и неконтролируемый режим на разных RBM для предварительной подготовки для классификации и распознавания. Обучение использует контрастную дивергенцию с выборкой Гиббса: Δw _ij = e*(p _ij - p' _ij )${\displaystyle E=-{\frac {1}{2}}\sum _{i,j}{w_{ij}{s_{i}}{s_{j}}}+\sum _{i}{\theta _{i}}{s_{i}}}$
• Ограниченная сила Больцмана в том, что он выполняет нелинейное преобразование, поэтому его легко расширить, и он может дать иерархический слой признаков. Слабость в том, что он имеет сложные вычисления целочисленных и вещественных нейронов. Он не следует градиенту какой-либо функции, поэтому приближение контрастной дивергенции к максимальному правдоподобию импровизировано. ^[14]

• Фишер, Ася; Игель, Кристиан (2012), «Введение в ограниченные машины Больцмана», Прогресс в распознавании образов, анализе изображений, компьютерном зрении и приложениях , Lecture Notes in Computer Science, т. 7441, Берлин, Гейдельберг: Springer Berlin Heidelberg, стр.  14–36 , doi : 10.1007/978-3-642-33275-3_2 , ISBN 978-3-642-33274-6

• Автоэнкодер
• машина Гельмгольца

• Чен, Эдвин (2011-07-18). "Введение в ограниченные машины Больцмана". Блог Эдвина Чена .
• Николсон, Крис; Гибсон, Адам. "Учебник для начинающих по ограниченным машинам Больцмана". Документация Deeplearning4j . Архивировано из оригинала 2017-02-11 . Получено 2018-11-15 .{{cite web}}: CS1 maint: bot: original URL status unknown (link)
• Николсон, Крис; Гибсон, Адам. «Понимание RBM». Документация Deeplearning4j . Архивировано из оригинала 20-09-2016 . Получено 29-12-2014 .

• Реализация Бернулли RBM на Python и руководство
• SimpleRBM — это очень небольшой код RBM (24 КБ), который поможет вам узнать, как RBM обучаются и работают.
• Реализация Julia ограниченных машин Больцмана: https://github.com/cossio/RestrictedBoltzmannMachines.jl