Выравнивание коллектора

Класс алгоритмов машинного обучения

Выравнивание многообразий — это класс алгоритмов машинного обучения , которые создают проекции между наборами данных, учитывая, что исходные наборы данных лежат на общем многообразии . Впервые эта концепция была введена как таковая Хэмом, Ли и Солом в 2003 году, [1] [ необходим неосновной источник ] добавив ограничение многообразия к общей проблеме корреляции наборов многомерных векторов. [2]

Обзор

Выравнивание многообразий предполагает, что разрозненные наборы данных, созданные схожими процессами генерации, будут совместно использовать схожее базовое представление многообразия . Изучая проекции из каждого исходного пространства в общее многообразие, восстанавливаются соответствия, и знания из одной области могут быть перенесены в другую. Большинство методов выравнивания многообразий рассматривают только два набора данных, но эта концепция распространяется на произвольное количество начальных наборов данных.

Рассмотрим случай выравнивания двух наборов данных, и , с и . Х {\displaystyle X} И {\displaystyle Y} Х я Р м {\displaystyle X_{i}\in \mathbb {R} ^{m}} И я Р н {\displaystyle Y_{i}\in \mathbb {R} ^{n}}

Алгоритмы выравнивания многообразий пытаются спроецировать и в новое d -мерное пространство таким образом, чтобы проекции минимизировали расстояние между соответствующими точками и сохранили локальную структуру многообразия исходных данных. Функции проекции обозначаются: Х {\displaystyle X} И {\displaystyle Y}

ϕ Х : Р м Р г {\displaystyle \phi _{X}:\,\mathbb {R} ^{m}\rightarrow \mathbb {R} ^{d}}

ϕ И : Р н Р г {\displaystyle \phi _{Y}:\,\mathbb {R} ^{n}\rightarrow \mathbb {R} ^{d}}

Представим бинарную матрицу соответствия между точками в и : Вт {\displaystyle W} Х {\displaystyle X} И {\displaystyle Y}

Вт я , дж = { 1 я ф Х я И дж 0 о т час е г ж я с е {\displaystyle W_{i,j}={\begin{cases}1&if\,X_{i}\leftrightarrow Y_{j}\\0&inotherwise\end{cases}}}

Пусть и представляют точечные сходства в наборах данных. Обычно это кодируется как тепловое ядро ​​матрицы смежности графа k -ближайших соседей . С Х {\displaystyle S_{X}} С И {\displaystyle S_{Y}}

Наконец, введите коэффициент , который можно настроить для корректировки веса цели «сохранить структуру многообразия» по сравнению с целью «минимизировать расстояния между соответствующими точками». 0 μ 1 {\displaystyle 0\leq \mu \leq 1}

Принимая во внимание эти определения, функцию потерь для выравнивания коллектора можно записать следующим образом:

арг мин ϕ Х , ϕ И μ я , дж ϕ Х ( Х я ) ϕ Х ( Х дж ) 2 С Х , я , дж + μ я , дж ϕ И ( И я ) ϕ И ( И дж ) 2 С И , я , дж + ( 1 μ ) я , дж ϕ Х ( Х я ) ϕ И ( И дж ) 2 Вт я , дж {\displaystyle \arg \min _{\phi _{X},\phi _{Y}}\mu \sum _{i,j}\left\Vert \phi _{X}\left(X_{i}\right)-\phi _{X}\left(X_{j}\right)\right\Vert ^{2}S_{X,i,j}+\mu \sum _{i,j}\left\Vert \phi _{Y}\left(Y_{i}\right)-\phi _{Y}\left(Y_{j}\right)\right\Vert ^{2}S_{Y,i,j}+\left(1-\mu \right)\sum _{i,j}\Vert \phi _{X}\left(X_{i}\right)-\phi _{Y}\left(Y_{j}\right)\Верт ^{2}W_{i,j}}

Решение этой задачи оптимизации эквивалентно решению обобщенной задачи на собственные значения с использованием графового лапласиана [3] совместной матрицы G :

Г = [ μ С Х ( 1 μ ) Вт ( 1 μ ) Вт Т μ С И ] {\displaystyle G=\left[{\begin{array}{cc}\mu S_{X}&\left(1-\mu \right)W\\\left(1-\mu \right)W^{T}&\mu S_{Y}\end{array}}\right]}

Соответствия между данными

Описанный выше алгоритм требует полной информации о парном соответствии между входными наборами данных; парадигма контролируемого обучения . Однако эту информацию обычно трудно или невозможно получить в реальных приложениях. Недавние работы расширили основной алгоритм выравнивания многообразий до полуконтролируемых [4] , неконтролируемых [5] и многоэкземплярных [6] настроек.

Одношаговое и двухшаговое выравнивание

Описанный выше алгоритм выполняет "одношаговое" выравнивание, находя вложения для обоих наборов данных одновременно. Похожий эффект может быть достигнут и с помощью "двухшаговых" выравниваний [7] [8] , следуя слегка измененной процедуре:

  1. Проецируйте каждый набор входных данных в пространство меньшей размерности независимо, используя любой из множества алгоритмов уменьшения размерности .
  2. Выполнить линейное выравнивание многообразий на встроенных данных, удерживая первый набор данных фиксированным, отображая каждый дополнительный набор данных на многообразие первого. Этот подход имеет преимущество декомпозиции требуемых вычислений, что снижает накладные расходы памяти и допускает параллельные реализации.

Проекции на уровне экземпляра и на уровне объекта

Выравнивание на уровне множества может использоваться для поиска линейных (на уровне признаков) проекций или нелинейных (на уровне экземпляров) вложений. Хотя версия на уровне экземпляров обычно обеспечивает более точные выравнивания, она жертвует большой степенью гибкости, поскольку изученное вложение часто трудно параметризовать. Проекции на уровне признаков позволяют легко встраивать любые новые экземпляры в пространство множества, а проекции можно объединять для формирования прямых отображений между исходными представлениями данных. Эти свойства особенно важны для приложений передачи знаний.

Приложения

Выравнивание по множеству подходит для задач с несколькими корпусами, которые лежат на общем коллекторе, даже если каждый корпус имеет разную размерность. Многие реальные проблемы соответствуют этому описанию, но традиционные методы не могут использовать все корпусы одновременно. Выравнивание по множеству также облегчает трансферное обучение , в котором знание одной области используется для запуска обучения в коррелированных областях.

Области применения выравнивания коллекторов включают:

  • Межъязыковой поиск информации /автоматический перевод [8]
    • Представляя документы в виде вектора количества слов, выравнивание множеств может восстановить соответствие между документами на разных языках.
    • Межъязыковую документальную переписку получить относительно легко, особенно от многоязычных организаций, таких как Европейский Союз .
  • Передача обучения политике и государственным представлениям для обучения с подкреплением [8]
  • Выравнивание структур ЯМР белков [8]
  • Ускорение обучения моделей в робототехнике путем обмена данными, полученными от других роботов [9]

Смотрите также

Ссылки

  1. ^ Хэм, Джи Хун; Дэниел Д. Ли; Лоуренс К. Саул (2003). "Изучение многомерных соответствий из многообразий малой размерности" (PDF) . Труды Двадцатой международной конференции по машинному обучению (ICML-2003) .
  2. ^ Хотеллинг, Х (1936). «Связи между двумя наборами переменных» (PDF) . Biometrika . 28 ( 3–4 ): 321–377 . doi :10.2307/2333955. JSTOR  2333955.
  3. ^ Белкин, М.; П. Ниёги (2003). «Лапласовские собственные карты для снижения размерности и представления данных» (PDF) . Neural Computation . 15 (6): 1373– 1396. CiteSeerX 10.1.1.192.8814 . doi :10.1162/089976603321780317. S2CID  14879317. 
  4. ^ Хэм, Джи Хун; Дэниел Д. Ли; Лоуренс К. Сол (2005). "Полуконтролируемое выравнивание многообразий" (PDF) . Труды Ежегодной конференции по неопределенности в искусственном интеллекте .
  5. ^ Ван, Чанг; Шридхар Махадеван (2009). Выравнивание многообразий без соответствия (PDF) . 21-я Международная совместная конференция по искусственному интеллекту.[ постоянная мертвая ссылка ‍ ]
  6. ^ Ван, Чанг; Шридхар Махадеван (2011). Гетерогенная адаптация домена с использованием выравнивания многообразий (PDF) . 22-я Международная объединенная конференция по искусственному интеллекту. Архивировано из оригинала (PDF) 2012-04-15 . Получено 2011-12-14 .
  7. ^ Лафон, Стефан; Йоси Келлер; Рональд Р. Койфман (2006). «Объединение данных и сопоставление данных по нескольким признакам с помощью диффузионных карт» (PDF) . Труды IEEE по анализу шаблонов и машинному интеллекту . 28 (11): 1784– 1797. CiteSeerX 10.1.1.419.1814 . doi :10.1109/tpami.2006.223. PMID  17063683. S2CID  1186335. [ постоянная мертвая ссылка ‍ ]
  8. ^ abcd Ван, Чанг; Шридхар Махадеван (2008). Выравнивание многообразий с использованием анализа Прокруста (PDF) . 25-я Международная конференция по машинному обучению.[ постоянная мертвая ссылка ‍ ]
  9. ^ Макондо, Ндивхуво; Бенджамин Росман; Осаму Хасегава (2015). Передача знаний для обучения моделей роботов с помощью локального прокрустова анализа . 15-я Международная конференция IEEE-RAS по гуманоидным роботам (гуманоидам). CiteSeerX 10.1.1.728.8830 . doi :10.1109/HUMANOIDS.2015.7363502. 

Дальнейшее чтение

  • Xiong, L.; F. Wang; C. Zhang (2007). "Выравнивание полуопределенного многообразия". Труды 18-й Европейской конференции по машинному обучению . CiteSeerX  10.1.1.91.7346 .
  • Ван, Чанг; Шридхар Махадеван (2009). «Общая структура для выравнивания многообразий» (PDF) . Осенний симпозиум AAAI по обучению многообразий и его приложениям .
  • Ван, Чанг; Шридхар Махадеван (2010). «Выравнивание многообразий с несколькими масштабами» (PDF) . Массачусетский университет TR UM-CS-2010-049 .
  • Ma, Yunqian (15 апреля 2012 г.). Многообразие теории обучения и ее применение. Taylor & Francis Group. стр. 376. ISBN 978-1-4398-7109-6.
  • Обзор выравнивания коллектора Чанга Вана
Взято с "https://en.wikipedia.org/w/index.php?title=Manifold_alignment&oldid=1268634286"