Генеративная топографическая карта

Эта статья включает список ссылок , связанных материалов или внешних ссылок , но ее источники остаются неясными, поскольку в ней отсутствуют встроенные цитаты . Пожалуйста, помогите улучшить эту статью, введя более точные цитаты. ( Сентябрь 2023 г. ) ( Узнайте, как и когда удалять это сообщение )

Генеративная топографическая карта ( GTM ) — это метод машинного обучения , который является вероятностным аналогом самоорганизующейся карты (SOM), вероятно, является конвергентным и не требует сужающейся окрестности или уменьшающегося размера шага. Это генеративная модель : предполагается, что данные возникают путем первого вероятностного выбора точки в низкоразмерном пространстве, сопоставления точки с наблюдаемым высокоразмерным входным пространством (с помощью гладкой функции), а затем добавления шума в это пространство. Параметры низкоразмерного распределения вероятностей, гладкой карты и шума извлекаются из обучающих данных с использованием алгоритма максимизации ожидания (EM) . GTM был представлен в 1996 году в статье Кристофера Бишопа , Маркуса Свенсена и Кристофера КИ Уильямса.

Подход тесно связан с сетями плотности, которые используют выборку по важности и многослойный персептрон для формирования нелинейной модели скрытой переменной . В GTM скрытое пространство представляет собой дискретную сетку точек, которая, как предполагается, нелинейно проецируется в пространство данных. Затем в пространстве данных делается предположение о гауссовском шуме , так что модель становится ограниченной смесью гауссовских функций . Затем правдоподобие модели может быть максимизировано с помощью EM.

Теоретически можно использовать произвольную нелинейную параметрическую деформацию. Оптимальные параметры можно найти методом градиентного спуска и т. д.

Предлагаемый подход к нелинейному отображению заключается в использовании сети радиальных базисных функций (RBF) для создания нелинейного отображения между скрытым пространством и пространством данных. Узлы сети RBF затем формируют пространство признаков , а нелинейное отображение затем может быть взято как линейное преобразование этого пространства признаков. Этот подход имеет преимущество перед предлагаемым подходом с использованием сети плотности, поскольку его можно оптимизировать аналитически.

В анализе данных GTM подобны нелинейной версии анализа главных компонент , которая позволяет моделировать многомерные данные как результат гауссовского шума, добавленного к источникам в менее размерном скрытом пространстве. Например, для определения местоположения акций в графически отображаемом 2D-пространстве на основе их высокомерных форм временных рядов. Другие приложения могут хотеть иметь меньше источников, чем точек данных, например, модели смесей.

В генеративном деформационном моделировании скрытые и данные пространства имеют одинаковые измерения, например, 2D изображения или 1 аудио звуковые волны. Дополнительные «пустые» измерения добавляются к источнику (известному как «шаблон» в этой форме моделирования), например, для определения местоположения 1D звуковой волны в 2D пространстве. Затем добавляются дополнительные нелинейные измерения, полученные путем объединения исходных измерений. Увеличенное скрытое пространство затем проецируется обратно в 1D пространство данных. Вероятность данной проекции, как и прежде, задается произведением правдоподобия данных в модели гауссовского шума с априорным параметром деформации. В отличие от обычного моделирования деформации на основе пружин, это имеет преимущество в том, что его можно аналитически оптимизировать. Недостатком является то, что это подход «добычи данных», т. е. форма априорной деформации вряд ли будет иметь смысл как объяснение возможных деформаций, поскольку она основана на очень высоком, искусственно и произвольно построенном нелинейном скрытом пространстве. По этой причине априорная информация изучается на основе данных, а не создается экспертом-человеком, как это возможно в моделях на основе пружин.

В то время как узлы в самоорганизующейся карте (SOM) могут перемещаться по своему желанию, узлы GTM ограничены допустимыми преобразованиями и их вероятностями. Если деформации ведут себя хорошо, топология скрытого пространства сохраняется.

SOM была создана как биологическая модель нейронов и является эвристическим алгоритмом. В отличие от этого, GTM не имеет ничего общего с нейронаукой или познанием и является вероятностно-принципиальной моделью. Таким образом, она имеет ряд преимуществ перед SOM, а именно:

• он явно формулирует модель плотности данных.
• он использует функцию стоимости, которая количественно определяет, насколько хорошо обучена карта.
• он использует процедуру оптимизации звука ( алгоритм ЭМ ).

GTM была введена Бишопом, Свенсеном и Уильямсом в их Техническом отчете в 1997 году (Технический отчет NCRG/96/015, Университет Астона, Великобритания), опубликованном позднее в Neural Computation. Она также была описана в докторской диссертации Маркуса Свенсена (Астон, 1998).

Этот раздел пуст. Вы можете помочь, дополнив его. ( Май 2015 )

• Самоорганизующаяся карта (SOM)
• Нейронная сеть (машинное обучение) также известная как искусственная нейронная сеть (ИНС)
• Коннекционизм
• Сбор данных
• Машинное обучение
• Нелинейное уменьшение размерности
• Программное обеспечение нейронных сетей
• Распознавание образов

• Бишоп, Свенсен и Уильямс, статья о генеративном топографическом картографировании
• Генеративное топографическое картирование, разработанное в группе исследований нейронных вычислений Астонского университета (Великобритания). (Инструментарий Matlab)