Генеративная модель на основе потока

Генеративная модель на основе потока — это генеративная модель , используемая в машинном обучении , которая явно моделирует распределение вероятностей , используя нормализующий поток ^{[1] ​​[2] [3],} который представляет собой статистический метод, использующий закон изменения переменной вероятностей для преобразования простого распределения в сложное.

Прямое моделирование правдоподобия дает много преимуществ. Например, отрицательная логарифмическая функция правдоподобия может быть напрямую вычислена и минимизирована как функция потерь . Кроме того, новые выборки могут быть получены путем выборки из начального распределения и применения преобразования потока.

Напротив, многие альтернативные методы генеративного моделирования, такие как вариационный автоэнкодер (VAE) и генеративно-состязательная сеть, явно не представляют функцию правдоподобия.

Пусть будет (возможно, многомерной) случайной величиной с распределением .${\displaystyle z_{0}}$${\displaystyle p_{0}(z_{0})}$

Для пусть будет последовательностью случайных величин, преобразованных из . Функции должны быть обратимыми, т.е. обратная функция существует. Окончательный вывод моделирует целевое распределение.${\displaystyle i=1,...,K}$${\displaystyle z_{i}=f_{i}(z_{i-1})}$${\displaystyle z_{0}}$${\displaystyle f_{1},...,f_{K}}$ ${\displaystyle f_{i}^{-1}}$${\displaystyle z_{K}}$

Логарифм правдоподобия равен (см. вывод):${\displaystyle z_{K}}$

${\displaystyle \log p_{K}(z_{K})=\log p_{0}(z_{0})-\sum _{i=1}^{K}\log \left|\det {\frac {df_{i}(z_{i-1})}{dz_{i-1}}}\right|}$

Для эффективного вычисления логарифмического правдоподобия функции должны быть 1. простыми для инвертирования и 2. простыми для вычисления определителя ее якобиана. На практике функции моделируются с использованием глубоких нейронных сетей и обучаются для минимизации отрицательного логарифмического правдоподобия выборок данных из целевого распределения. Эти архитектуры обычно проектируются таким образом, что требуется только прямой проход нейронной сети как в обратном вычислении, так и в вычислении определителя якобиана. Примерами таких архитектур являются NICE, ^[4] RealNVP, ^[5] и Glow. ^[6]${\displaystyle f_{1},...,f_{K}}$${\displaystyle f_{1},...,f_{K}}$

Рассмотрим и . Обратите внимание, что .${\displaystyle z_{1}}$${\displaystyle z_{0}}$${\displaystyle z_{0}=f_{1}^{-1}(z_{1})}$

По формуле замены переменной распределение имеет вид:${\displaystyle z_{1}}$

${\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det {\frac {df_{1}^{-1}(z_{1})}{dz_{1}}}\right|}$

Где — определитель матрицы Якоби . ​${\displaystyle \det {\frac {df_{1}^{-1}(z_{1})}{dz_{1}}}}$${\displaystyle f_{1}^{-1}}$

По теореме об обратной функции :

${\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det \left({\frac {df_{1}(z_{0})}{dz_{0}}}\right)^{-1}\right|}$

По тождеству (где — обратимая матрица ) имеем:${\displaystyle \det(A^{-1})=\det(A)^{-1}}$${\displaystyle A}$

${\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det {\frac {df_{1}(z_{0})}{dz_{0}}}\right|^{-1}}$

Логарифм правдоподобия, таким образом, равен:

${\displaystyle \log p_{1}(z_{1})=\log p_{0}(z_{0})-\log \left|\det {\frac {df_{1}(z_{0})}{dz_{0}}}\right|}$

В общем случае вышесказанное применимо к любому и . Поскольку равно вычтенному нерекурсивному члену, мы можем вывести по индукции , что:${\displaystyle z_{i}}$${\displaystyle z_{i-1}}$${\displaystyle \log p_{i}(z_{i})}$${\displaystyle \log p_{i-1}(z_{i-1})}$

${\displaystyle \log p_{K}(z_{K})=\log p_{0}(z_{0})-\sum _{i=1}^{K}\log \left|\det {\frac {df_{i}(z_{i-1})}{dz_{i-1}}}\right|}$

Как это обычно делается при обучении модели глубокого обучения, цель нормализации потоков состоит в том, чтобы минимизировать расхождение Кульбака–Лейблера между правдоподобием модели и целевым распределением, которое должно быть оценено. Обозначая правдоподобие модели и целевое распределение для обучения, (прямое) KL-расхождение равно:${\displaystyle p_{\theta }}$${\displaystyle p^{*}}$

${\displaystyle D_{KL}[p^{*}(x)||p_{\theta }(x)]=-\mathbb {E} _{p^{*}(x)}[\log(p_{\theta }(x))]+\mathbb {E} _{p^{*}(x)}[\log(p^{*}(x))]}$

Второй член в правой части уравнения соответствует энтропии целевого распределения и не зависит от параметра, который мы хотим, чтобы модель изучила, что оставляет только ожидание отрицательного логарифмического правдоподобия для минимизации при целевом распределении. Этот трудноразрешимый член может быть аппроксимирован методом Монте-Карло с помощью выборки по важности . Действительно, если у нас есть набор данных образцов, каждый из которых независимо взят из целевого распределения , то этот член можно оценить как:${\displaystyle \theta }$${\displaystyle \{x_{i}\}_{i=1:N}}$${\displaystyle p^{*}(x)}$

${\displaystyle -{\hat {\mathbb {E} }}_{p^{*}(x)}[\log(p_{\theta }(x))]=-{\frac {1}{N}}\sum _{i=0}^{N}\log(p_{\theta }(x_{i}))}$

Поэтому цель обучения

${\displaystyle {\underset {\theta }{\operatorname {arg\,min} }}\ D_{KL}[p^{*}(x)||p_{\theta }(x)]}$

заменяется на

${\displaystyle {\underset {\theta }{\operatorname {arg\,max} }}\ \sum _{i=0}^{N}\log(p_{\theta }(x_{i}))}$

Другими словами, минимизация расхождения Кульбака–Лейблера между правдоподобием модели и целевым распределением эквивалентна максимизации правдоподобия модели при наблюдаемых выборках целевого распределения. ^[7]

Псевдокод для обучения нормализующих потоков выглядит следующим образом: ^[8]

• ВХОД. набор данных , нормализирующая модель потока .${\displaystyle x_{1:n}}$${\displaystyle f_{\theta }(\cdot ),p_{0}}$
• РЕШИТЬ методом градиентного спуска${\displaystyle \max _{\theta }\sum _{j}\ln p_{\theta }(x_{j})}$
• ВОЗВРАЩАТЬСЯ.${\displaystyle {\hat {\theta }}}$

Самый ранний пример. ^[9] Зафиксируем некоторую функцию активации и пусть с соответствующими размерностями, тогда Обратное уравнение не имеет замкнутого решения в общем случае.${\displaystyle h}$${\displaystyle \theta =(u,w,b)}$$${\displaystyle x=f_{\theta }(z)=z+uh(\langle w,z\rangle +b)}$$${\displaystyle f_{\theta }^{-1}}$

Якобиан — это .${\displaystyle |\det(I+h'(\langle w,z\rangle +b)uw^{T})|=|1+h'(\langle w,z\rangle +b)\langle u,w\rangle |}$

Чтобы он был обратимым везде, он должен быть ненулевым везде. Например, и удовлетворяет требованию.${\displaystyle h=\tanh }$${\displaystyle \langle u,w\rangle >-1}$

Пусть будет четномерным, и разделим их посередине. ^[4] Тогда нормализующие функции потока будут такими, где — любая нейронная сеть с весами .${\displaystyle x,z\in \mathbb {R} ^{2n}}$$${\displaystyle x={\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}=f_{\theta }(z)={\begin{bmatrix}z_{1}\\z_{2}\end{bmatrix}}+{\begin{bmatrix}0\\m_{\theta }(z_{1})\end{bmatrix}}}$$${\displaystyle m_{\theta }}$${\displaystyle \theta }$

${\displaystyle f_{\theta }^{-1}}$равен всего лишь , а якобиан равен всего лишь 1, то есть поток сохраняет объем.${\displaystyle z_{1}=x_{1},z_{2}=x_{2}-m_{\theta }(x_{1})}$

Когда , это рассматривается как криволинейный сдвиг вдоль направления.${\displaystyle n=1}$${\displaystyle x_{2}}$

Реальная модель без сохранения объема обобщает модель NICE следующим образом: ^[5]$${\displaystyle x={\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}=f_{\theta }(z)={\begin{bmatrix}z_{1}\\e^{s_{\theta }(z_{1})}\odot z_{2}\end{bmatrix}}+{\begin{bmatrix}0\\m_{\theta }(z_{1})\end{bmatrix}}}$$

Его обратный — , а его якобиан — . Модель NICE восстанавливается путем установки . Поскольку карта Real NVP разделяет первую и вторую половины вектора , обычно требуется добавлять перестановку после каждого слоя Real NVP.${\displaystyle z_{1}=x_{1},z_{2}=e^{-s_{\theta }(x_{1})}\odot (x_{2}-m_{\theta }(x_{1}))}$${\displaystyle \prod _{i=1}^{n}e^{s_{\theta }(z_{1,})}}$${\displaystyle s_{\theta }=0}$${\displaystyle x}$${\displaystyle (x_{1},x_{2})\mapsto (x_{2},x_{1})}$

В модели генеративного потока ^[6] каждый слой состоит из 3 частей:

• Аффинное преобразование по каналам с якобианом .$${\displaystyle y_{cij}=s_{c}(x_{cij}+b_{c})}$$${\displaystyle \prod _{c}s_{c}^{HW}}$
• обратимая свертка 1x1 с якобианом . Вот любая обратимая матрица.$${\displaystyle z_{cij}=\sum _{c'}K_{cc'}y_{cij}}$$${\displaystyle \det(K)^{HW}}$${\displaystyle K}$
• Действительный NVP с якобианом, описанным в Real NVP.

Идея использования обратимой свертки 1x1 заключается в перестановке всех слоев в целом, а не просто в перестановке первой и второй половины, как в Real NVP.

Авторегрессионная модель распределения определяется как следующий стохастический процесс: ^[10]${\displaystyle \mathbb {R} ^{n}}$

$${\displaystyle {\begin{aligned}x_{1}\sim &N(\mu _{1},\sigma _{1}^{2})\\x_{2}\sim &N(\mu _{2}(x_{1}),\sigma _{2}(x_{1})^{2})\\&\cdots \\x_{n}\sim &N(\mu _{n}(x_{1:n-1}),\sigma _{n}(x_{1:n-1})^{2})\\\end{aligned}}}$$где и — фиксированные функции, определяющие модель авторегрессии.${\displaystyle \mu _{i}:\mathbb {R} ^{i-1}\to \mathbb {R} }$${\displaystyle \sigma _{i}:\mathbb {R} ^{i-1}\to (0,\infty )}$

С помощью приема репараметризации авторегрессионная модель обобщается до нормализующего потока: Авторегрессионная модель восстанавливается путем установки .$${\displaystyle {\begin{aligned}x_{1}=&\mu _{1}+\sigma _{1}z_{1}\\x_{2}=&\mu _{2}(x_{1})+\sigma _{2}(x_{1})z_{2}\\&\cdots \\x_{n}=&\mu _{n}(x_{1:n-1})+\sigma _{n}(x_{1:n-1})z_{n}\\\end{aligned}}}$$${\displaystyle z\sim N(0,I_{n})}$

Прямое отображение выполняется медленно (потому что оно последовательное), а обратное отображение выполняется быстро (потому что оно параллельное).

Матрица Якоби имеет нижнюю диагональ, поэтому якобиан равен .${\displaystyle \sigma _{1}\sigma _{2}(x_{1})\cdots \sigma _{n}(x_{1:n-1})}$

Обратное преобразование двух отображений и MAF приводит к обратному авторегрессионному потоку (IAF), который имеет быстрое прямое отображение и медленное обратное отображение. ^[11]${\displaystyle f_{\theta }}$${\displaystyle f_{\theta }^{-1}}$

Вместо построения потока с помощью композиции функций, другой подход заключается в формулировании потока как непрерывной динамики времени. ^{[12] [13]} Пусть будет скрытой переменной с распределением . Сопоставьте эту скрытую переменную с пространством данных с помощью следующей функции потока:${\displaystyle z_{0}}$${\displaystyle p(z_{0})}$

${\displaystyle x=F(z_{0})=z_{T}=z_{0}+\int _{0}^{T}f(z_{t},t)dt}$

где — произвольная функция, которую можно смоделировать, например, с помощью нейронных сетей.${\displaystyle f}$

Обратная функция тогда, естественно, имеет вид: ^[12]

${\displaystyle z_{0}=F^{-1}(x)=z_{T}+\int _{T}^{0}f(z_{t},t)dt=z_{T}-\int _{0}^{T}f(z_{t},t)dt}$

А логарифм правдоподобия можно найти как: ^[12]${\displaystyle x}$

${\displaystyle \log(p(x))=\log(p(z_{0}))-\int _{0}^{T}{\text{Tr}}\left[{\frac {\partial f}{\partial z_{t}}}\right]dt}$

Поскольку след зависит только от диагонали якобиана , это допускает якобиан «свободной формы». ^[14] Здесь «свободная форма» означает, что нет ограничений на форму якобиана. Это контрастирует с предыдущими дискретными моделями нормализации потока, где якобиан тщательно проектировался так, чтобы быть только верхне- или нижнедиагональным, так что якобиан можно было эффективно оценить.${\displaystyle \partial _{z_{t}}f}$

След можно оценить с помощью «трюка Хатчинсона»: ^{[15] [16]}

Учитывая любую матрицу и любые случайные числа с , мы имеем . (Доказательство: непосредственно разложить математическое ожидание.)${\displaystyle W\in \mathbb {R} ^{n\times n}}$${\displaystyle u\in \mathbb {R} ^{n}}$${\displaystyle E[uu^{T}]=I}$${\displaystyle E[u^{T}Wu]=tr(W)}$

Обычно случайный вектор выбирается из (нормального распределения) или ( распределения Радамахера ).${\displaystyle N(0,I)}$${\displaystyle \{\pm n^{-1/2}\}^{n}}$

При реализации в виде нейронной сети понадобятся методы нейронного ОДУ ^{[17] . Действительно, CNF был впервые предложен в той же статье, в которой был предложен нейронный ОДУ.}${\displaystyle f}$

У КНФ есть два основных недостатка: один из них заключается в том, что непрерывный поток должен быть гомеоморфизмом , то есть сохранять ориентацию и изотопию окружающей среды (например, невозможно перевернуть левую сторону на правую путем непрерывной деформации пространства, невозможно вывернуть сферу наизнанку или развязать узел), а другой заключается в том, что обученный поток может вести себя некорректно из-за вырожденности (то есть существует бесконечное число возможных решений одной и той же задачи).${\displaystyle f}$${\displaystyle f}$

Добавляя дополнительные измерения, КНФ получает достаточно свободы, чтобы изменить ориентацию и выйти за рамки окружающей изотопии (точно так же, как можно взять многоугольник со стола и перевернуть его в 3-мерном пространстве или развязать узел в 4-мерном пространстве), что приводит к «расширенному нейронному ОДУ». ^[18]

Любой гомеоморфизм может быть аппроксимирован нейронным ОДУ, действующим на , что доказано путем объединения теоремы вложения Уитни для многообразий и универсальной теоремы аппроксимации для нейронных сетей. ^[19]${\displaystyle \mathbb {R} ^{n}}$${\displaystyle \mathbb {R} ^{2n+1}}$

Чтобы регуляризировать поток , можно ввести потери регуляризации. В статье ^[15] предложены следующие потери регуляризации, основанные на оптимальной теории переноса : где — гиперпараметры. Первый член наказывает модель за осцилляции поля потока во времени, а второй член наказывает ее за осцилляции поля потока в пространстве. Оба члена вместе направляют модель в поток, который является гладким (не «неровным») в пространстве и времени.${\displaystyle f}$$${\displaystyle \lambda _{K}\int _{0}^{T}\left\|f(z_{t},t)\right\|^{2}dt+\lambda _{J}\int _{0}^{T}\left\|\nabla _{z}f(z_{t},t)\right\|_{F}^{2}dt}$$${\displaystyle \lambda _{K},\lambda _{J}>0}$

Несмотря на успех нормализации потоков в оценке многомерных плотностей, в их конструкциях все еще существуют некоторые недостатки. Прежде всего, их скрытое пространство, куда проецируются входные данные, не является пространством с меньшей размерностью, и поэтому модели на основе потоков не позволяют сжимать данные по умолчанию и требуют большого объема вычислений. Однако с их помощью все еще возможно выполнять сжатие изображений. ^[20]

Модели на основе потоков также печально известны своей неспособностью оценить вероятность выборок вне распределения (т. е. выборок, которые не были взяты из того же распределения, что и обучающий набор). ^[21] Для объяснения этого явления были сформулированы некоторые гипотезы, среди которых гипотеза о типичном наборе, ^[22] проблемы оценки при обучении моделей, ^[23] или фундаментальные проблемы из-за энтропии распределений данных. ^[24]

Одним из самых интересных свойств нормализации потоков является обратимость их изученного биективного отображения. Это свойство задается ограничениями в конструкции моделей (ср.: RealNVP, Glow), которые гарантируют теоретическую обратимость. Целостность обратного важна для обеспечения применимости теоремы о замене переменной , вычисления якобиана отображения , а также выборки с моделью. Однако на практике эта обратимость нарушается, и обратное отображение взрывается из-за численной неточности. ^[25]

Генеративные модели на основе потоков применяются для решения различных задач моделирования, включая:

• Генерация звука ^[26]
• Генерация изображения ^[6]
• Генерация молекулярного графа ^[27]
• Моделирование облака точек ^[28]
• Генерация видео ^[29]
• Сжатие изображений с потерями ^[20]
• Обнаружение аномалий ^[30]

• Глубокие генеративные модели на основе потока
• Нормализация моделей потока