Топологическое глубокое обучение

Топологическое глубокое обучение (TDL) [1] [2] [3] [4] [5] [6] — это область исследований, которая расширяет глубокое обучение для обработки сложных неевклидовых структур данных. Традиционные модели глубокого обучения, такие как сверточные нейронные сети (CNN) и рекуррентные нейронные сети (RNN), превосходны в обработке данных на регулярных сетках и последовательностях. Однако научные и реальные данные часто демонстрируют более сложные домены данных, встречающиеся в научных вычислениях, включая облака точек , сетки , временные ряды , графы скалярных полей или общие топологические пространства , такие как симплициальные комплексы и комплексы CW . [7] TDL решает эту проблему, включая топологические концепции для обработки данных с отношениями более высокого порядка, такими как взаимодействия между несколькими сущностями и сложными иерархиями. Этот подход использует такие структуры, как симплициальные комплексы и гиперграфы, для захвата глобальных зависимостей и качественных пространственных свойств, предлагая более детальное представление данных. TDL также охватывает методы вычислительной и алгебраической топологии , которые позволяют изучать свойства нейронных сетей и их процесс обучения, такие как их предсказательная производительность или свойства обобщения. [8] [9] [10] [11] [12] [13] [14] Математические основы TDL — алгебраическая топология , дифференциальная топология и геометрическая топология . Поэтому TDL можно обобщить для данных о дифференцируемых многообразиях , узлах , связях, клубках, кривых и т. д.

История и мотивация

Традиционные методы глубокого обучения часто работают в предположении, что набор данных находится в высокоструктурированном пространстве (например, изображениях , где сверточные нейронные сети демонстрируют выдающуюся производительность по сравнению с альтернативными методами) или в евклидовом пространстве . Распространенность новых типов данных, в частности графов , сеток и молекул , привела к разработке новых методов, достигших кульминации в области геометрического глубокого обучения , которое изначально предложило перспективу обработки сигналов для обработки таких типов данных. [15] Хотя изначально они ограничивались графами, где связность определяется на основе узлов и ребер, последующая работа расширила концепции до большего разнообразия типов данных, включая симплициальные комплексы [16] [3] и комплексы CW , [8] [17] с недавней работой, предлагающей единую перспективу передачи сообщений на общих комбинаторных комплексах. [1]

Независимая точка зрения на различные типы данных возникла из топологического анализа данных , который предложил новую структуру для описания структурной информации данных, т. е. их «формы», которая по своей сути знает о множественных масштабах в данных, от локальной информации до глобальной информации. [18] Хотя сначала она была ограничена небольшими наборами данных, последующая работа разработала новые дескрипторы, которые эффективно суммировали топологическую информацию наборов данных, чтобы сделать их доступными для традиционных методов машинного обучения, таких как машины опорных векторов или случайные леса . Такие дескрипторы варьировались от новых методов проектирования признаков до новых способов предоставления подходящих координат для топологических дескрипторов, [19] [20] [21] или создания более эффективных мер различия . [22] [23] [24] [25]

Современные исследования в этой области в основном направлены либо на интеграцию информации о базовой топологии данных в существующие модели глубокого обучения , либо на получение новых способов обучения в топологических областях.

Изучение топологических пространств

Задачи обучения по топологическим областям можно в целом разделить на три категории: классификация клеток, прогнозирование клеток и сложная классификация. [1]

Сосредоточившись на топологии в смысле топологии множеств точек , активное направление TDL занимается изучением топологических пространств, то есть различных топологических областей.

Введение в топологические домены

Одной из основных концепций топологического глубокого обучения является домен, на котором определяются и поддерживаются эти данные. В случае евклидовых данных, таких как изображения, этот домен представляет собой сетку, на которой поддерживается значение пикселя изображения. В более общей ситуации этот домен может быть топологическим доменом . Далее мы представляем наиболее распространенные топологические домены, которые встречаются в условиях глубокого обучения. Эти домены включают, помимо прочего, графы, симплициальные комплексы, клеточные комплексы, комбинаторные комплексы и гиперграфы.

При наличии конечного множества S абстрактных сущностей функция соседства на S является назначением, которое прикрепляет к каждой точке в S подмножество S или отношение. Такая функция может быть вызвана путем оснащения S вспомогательной структурой . Ребра предоставляют один из способов определения отношений между сущностями S. Более конкретно, ребра в графе позволяют определить понятие соседства, используя, например, понятие односкачкового соседства. Однако ребра ограничены в своих возможностях моделирования, поскольку их можно использовать только для моделирования бинарных отношений между сущностями S , поскольку каждое ребро обычно связано с двумя сущностями. Во многих приложениях желательно разрешить отношения, которые включают более двух сущностей. Идея использования отношений, которые включают более двух сущностей, является центральной для топологических доменов. Такие отношения более высокого порядка позволяют определить более широкий диапазон функций соседства на S для захвата многосторонних взаимодействий между сущностями S. Н {\displaystyle {\mathcal {N}}} х {\displaystyle x}

Далее мы рассмотрим основные свойства, преимущества и недостатки некоторых обычно изучаемых топологических областей в контексте глубокого обучения, включая (абстрактные) симплициальные комплексы, регулярные клеточные комплексы, гиперграфы и комбинаторные комплексы.

(a): Группа S состоит из основных частей (вершин) без каких-либо связей. (b): Граф представляет простые связи между своими частями (вершинами), которые являются элементами S. (c): Симплициальный комплекс показывает способ, которым части (отношения) связаны друг с другом, но со строгими правилами относительно того, как они связаны. (d): Подобно симплициальным комплексам, клеточный комплекс показывает, как части (отношения) связаны, но он более гибок в том, как они сформированы (как «клетки»). (f): Гиперграф показывает любые виды связей между частями S, но эти связи не организованы в каком-либо определенном порядке. (e): CC смешивает элементы из клеточных комплексов (связи с порядком) и гиперграфов (разнообразные связи), охватывая оба вида установок. [1]

Сравнения между топологическими доменами

Каждая из перечисленных топологических областей имеет свои особенности, преимущества и ограничения:

  • Симплициальные комплексы
    • Простейшая форма доменов высшего порядка.
    • Расширения графовых моделей.
    • Допускают иерархические структуры, что делает их пригодными для различных применений.
    • Теорию Ходжа можно естественным образом определить на симплициальных комплексах.
    • Требуйте, чтобы отношения были подмножествами более крупных отношений, накладывая ограничения на структуру.
  • Клеточные комплексы
    • Обобщить симплициальные комплексы.
    • Обеспечить большую гибкость при определении отношений более высокого порядка.
    • Каждая ячейка в клеточном комплексе гомеоморфна открытому шару, соединенному между собой посредством карт присоединения.
    • Граничные клетки каждой клетки в клеточном комплексе также являются клетками в комплексе.
    • Представлено комбинаторно с помощью матриц инцидентности.
  • Гиперграфы
    • Разрешить произвольные отношения между сущностями.
    • Отношения не навязываются другими отношениями, что обеспечивает большую гибкость.
    • Не кодируйте явно размерность ячеек или отношений.
    • Полезно, когда отношения в данных не соответствуют ограничениям, налагаемым другими моделями, такими как симплициальные и клеточные комплексы.
  • Комбинаторные комплексы [1] :
    • Обобщить и устранить пробелы между симплициальными комплексами, клеточными комплексами и гиперграфами.
    • Разрешить иерархические структуры и отношения типа множеств.
    • Объединить особенности других комплексов, обеспечивая при этом большую гибкость в моделировании отношений.
    • Может быть представлено комбинаторно, подобно клеточным комплексам.

Иерархическая структура и отношения типа множества

Свойства симплициальных комплексов, клеточных комплексов и гиперграфов порождают две основные особенности отношений в доменах более высокого порядка, а именно иерархии отношений и отношения типа множеств. [1]

Ранговая функция

Ранговая функция на домене более высокого порядка X — это функция сохранения порядка rk : X → Z , где rk ( x ) присваивает неотрицательное целое значение каждому отношению x в X , сохраняя включение множеств в X . Клеточные и симплициальные комплексы являются распространенными примерами доменов более высокого порядка, снабженных ранговыми функциями и, следовательно, иерархиями отношений. [1]

Отношения типа «множество»

Отношения в домене более высокого порядка называются отношениями типа множества, если существование отношения не подразумевается другим отношением в домене. Гиперграфы представляют собой примеры доменов более высокого порядка, снабженных отношениями типа множества. Учитывая ограничения моделирования симплициальных комплексов, клеточных комплексов и гиперграфов, мы разрабатываем комбинаторный комплекс, домен более высокого порядка, который включает как иерархии отношений, так и отношения типа множества. [1]

Учебные задачи в TDL можно условно разделить на три категории: [1]

  • Классификация ячеек : Прогнозирование целей для каждой ячейки в комплексе. Примерами являются сегментация треугольной сетки, где задача состоит в прогнозировании класса каждой грани или ребра в данной сетке.
  • Комплексная классификация : Прогнозирование целей для всего комплекса. Например, прогнозирование класса каждой входной сетки.
  • Прогнозирование ячеек : прогнозирование свойств взаимодействий между ячейками в комплексе, а в некоторых случаях прогнозирование наличия ячейки в комплексе. Примером может служить прогнозирование связей между сущностями в гиперребрах гиперграфа.

На практике для выполнения вышеупомянутых задач необходимо построить и реализовать модели глубокого обучения, разработанные для определенных топологических пространств. Эти модели, известные как топологические нейронные сети, адаптированы для эффективной работы в этих пространствах.

Топологические нейронные сети

Центральными элементами TDL являются топологические нейронные сети (TNN) , специализированные архитектуры, предназначенные для работы с данными, структурированными в топологических доменах. [2] [1] В отличие от традиционных нейронных сетей, предназначенных для структур, подобных сетке, TNN способны обрабатывать более сложные представления данных, такие как графы, симплициальные комплексы и комплексы ячеек. Используя внутреннюю топологию данных, TNN могут захватывать как локальные, так и глобальные отношения, обеспечивая детальный анализ и интерпретацию.

Топологические нейронные сети передачи сообщений

В общей топологической области передача сообщений более высокого порядка включает обмен сообщениями между сущностями и ячейками с использованием набора функций соседства.

Определение: Передача сообщений высшего порядка в общем топологическом домене.

Передача сообщений более высокого порядка — это модель глубокого обучения, определенная на топологическом домене и опирающаяся на информацию о передаче сообщений между сущностями в базовом домене для выполнения задачи обучения. [1]

Пусть будет топологическим доменом. Определим набор функций соседства на . Рассмотрим ячейку и пусть для некоторого . Сообщение между ячейками и является вычислением, зависящим от этих двух ячеек или данных, поддерживаемых в них. Обозначим как мультимножество , и пусть представляет некоторые данные, поддерживаемые в ячейке на уровне . Передача сообщений более высокого порядка на , [1] [8] индуцированная , определяется следующими четырьмя правилами обновления: Х {\displaystyle {\mathcal {X}}} Н = { Н 1 , … , Н н } {\displaystyle {\mathcal {N}}=\{{\mathcal {N}}_{1},\ldots ,{\mathcal {N}}_{n}\}} Х {\displaystyle {\mathcal {X}}} х {\displaystyle x} у ∈ Н к ( х ) {\displaystyle y\in {\mathcal {N}}_{k}(x)} N k ∈ N {\displaystyle {\mathcal {N}}_{k}\in {\mathcal {N}}} m x , y {\displaystyle m_{x,y}} x {\displaystyle x} y {\displaystyle y} N ( x ) {\displaystyle {\mathcal {N}}(x)} { { N 1 ( x ) , … , N n ( x ) } } {\displaystyle \{\!\!\{{\mathcal {N}}_{1}(x),\ldots ,{\mathcal {N}}_{n}(x)\}\!\!\}} h x ( l ) {\displaystyle \mathbf {h} _{x}^{(l)}} x {\displaystyle x} l {\displaystyle l} X {\displaystyle {\mathcal {X}}} N {\displaystyle {\mathcal {N}}}

  1. m x , y = α N k ( h x ( l ) , h y ( l ) ) {\displaystyle m_{x,y}=\alpha _{{\mathcal {N}}_{k}}(\mathbf {h} _{x}^{(l)},\mathbf {h} _{y}^{(l)})}
  2. m x k = ⨁ y ∈ N k ( x ) m x , y {\displaystyle m_{x}^{k}=\bigoplus _{y\in {\mathcal {N}}_{k}(x)}m_{x,y}} , где — функция агрегации внутри соседства. ⨁ {\displaystyle \bigoplus }
  3. m x = ⨂ N k ∈ N m x k {\displaystyle m_{x}=\bigotimes _{{\mathcal {N}}_{k}\in {\mathcal {N}}}m_{x}^{k}} , где — функция агрегации между соседями. ⨂ {\displaystyle \bigotimes }
  4. h x ( l + 1 ) = β ( h x ( l ) , m x ) {\displaystyle \mathbf {h} _{x}^{(l+1)}=\beta (\mathbf {h} _{x}^{(l)},m_{x})} , где — дифференцируемые функции. α N k , β {\displaystyle \alpha _{{\mathcal {N}}_{k}},\beta }

Некоторые замечания по приведенному выше определению заключаются в следующем.

Во-первых, уравнение 1 описывает, как вычисляются сообщения между ячейками и . На сообщение влияют как данные , так и , связанные с ячейками и , соответственно. Кроме того, оно включает характеристики, характерные для самих ячеек, такие как ориентация в случае комплексов ячеек. Это позволяет получить более полное представление пространственных отношений по сравнению с традиционными фреймворками передачи сообщений на основе графов. x {\displaystyle x} y {\displaystyle y} m x , y {\displaystyle m_{x,y}} h x ( l ) {\displaystyle \mathbf {h} _{x}^{(l)}} h y ( l ) {\displaystyle \mathbf {h} _{y}^{(l)}} x {\displaystyle x} y {\displaystyle y}

Во-вторых, уравнение 2 определяет, как сообщения из соседних ячеек агрегируются в каждом соседстве. Функция агрегирует эти сообщения, позволяя эффективно обмениваться информацией между соседними ячейками в пределах одного соседства. ⨁ {\displaystyle \bigoplus }

В-третьих, уравнение 3 описывает процесс объединения сообщений из разных соседств. Функция объединяет сообщения из разных соседств, облегчая коммуникацию между ячейками, которые могут быть не связаны напрямую, но имеют общие соседские отношения. ⨂ {\displaystyle \bigotimes }

В-четвертых, уравнение 4 определяет, как агрегированные сообщения влияют на состояние ячейки в следующем слое. Здесь функция обновляет состояние ячейки на основе ее текущего состояния и агрегированного сообщения, полученного от соседних ячеек. β {\displaystyle \beta } x {\displaystyle x} h x ( l ) {\displaystyle \mathbf {h} _{x}^{(l)}} m x {\displaystyle m_{x}}

Топологические нейронные сети без передачи сообщений

В то время как большинство TNN следуют парадигме передачи сообщений из обучения графов , было предложено несколько моделей, которые не следуют этому подходу. Например, Мэггс и др. [26] используют геометрическую информацию из встроенных симплициальных комплексов, т. е. симплициальных комплексов с высокоразмерными признаками, прикрепленными к их вершинам. Это обеспечивает интерпретируемость и геометрическую согласованность без опоры на передачу сообщений. Кроме того, в [27] был предложен метод на основе контрастных потерь для изучения симплициального представления.

Изучение топологических дескрипторов

Мотивированная модульной природой глубоких нейронных сетей , первоначальная работа в TDL черпала вдохновение из топологического анализа данных и была направлена ​​на то, чтобы сделать полученные дескрипторы поддающимися интеграции в модели глубокого обучения . Это привело к работе по определению новых слоев для глубоких нейронных сетей. Новаторская работа Хофера и др. [28] , например, представила слой, который позволял интегрировать топологические дескрипторы, такие как диаграммы устойчивости или штрихкоды устойчивости , в глубокую нейронную сеть. Это было достигнуто с помощью сквозных обучаемых проекционных функций, что позволило использовать топологические признаки для решения задач классификации форм, например. Последующая работа еще больше расширила теоретические свойства таких дескрипторов и интегрировала их в область обучения представлениям . [29] Другие такие топологические слои включают слои, основанные на расширенных дескрипторах устойчивой гомологии, [30] ландшафтах устойчивости [31] или функциях координат. [32] Параллельно устойчивая гомология также нашла применение в задачах обучения графам. Примечательными примерами являются новые алгоритмы для обучения специфическим для задач функциям фильтрации для задач классификации графов или классификации узлов. [33] [34] [35]

Приложения

TDL быстро находит новые приложения в различных областях, включая сжатие данных, [36] повышение выразительности и предсказательной способности графовых нейронных сетей , [16] [17] [33] распознавание действий, [37] и прогнозирование траектории. [38]

Ссылки

  1. ^ abcdefghijkl Хаджидж, М.; Замзми, Г.; Папамарку, Т.; Миолане, Н.; Гусман-Саенс, А.; Рамамурти, КНЦ; Шауб, М.Т. (2022), Топологическое глубокое обучение: выход за рамки графических данных , arXiv : 2206.00606
  2. ^ ab Papillon, M.; Sanborn, S.; Hajij, M.; Miolane, N. (2023). «Архитектуры топологического глубокого обучения: обзор топологических нейронных сетей». arXiv : 2304.10031 [cs.LG].
  3. ^ ab Эбли, С.; Дефферрард, М.; Шпрееманн, Г. (2020), Симплициальные нейронные сети , arXiv : 2010.03633
  4. ^ Баттилоро, К.; Теста, Л.; Джусти, Л.; Сарделлитти, С.; Ди Лоренцо, П.; Барбаросса, С. (2023), Обобщенные симплициальные нейронные сети внимания , arXiv : 2309.02138
  5. ^ Янг, М.; Исуфи, Э. (2023), Сверточное обучение на симплициальных комплексах , arXiv : 2301.11163
  6. ^ Чен, Y.; Гель, YR; Пур, HV (2022), «BScNets: блочные симплициальные комплексные нейронные сети», Труды конференции AAAI по искусственному интеллекту , 36 (6): 6333– 6341, arXiv : 2112.06826 , doi : 10.1609/aaai.v36i6.20583
  7. ^ Урай, Мартин; Джунти, Барбара; Кербер, Майкл; Хубер, Стефан (2024-10-01). «Топологический анализ данных в интеллектуальном производстве: современное состояние и будущие направления». Журнал производственных систем . 76 : 75–91 . arXiv : 2310.09319 . doi :10.1016/j.jmsy.2024.07.006. ISSN  0278-6125.
  8. ^ abc Хаджидж, М.; Иштван, К.; Замзми, Г. (2020), Клеточные сложные нейронные сети , arXiv : 2010.00743
  9. ^ Бьянкини, Моника; Скарселли, Франко (2014). «О сложности классификаторов нейронных сетей: сравнение неглубоких и глубоких архитектур». Труды IEEE по нейронным сетям и системам обучения . 25 (8): 1553– 1565. doi :10.1109/TNNLS.2013.2293637. ISSN  2162-237X. PMID  25050951.
  10. ^ Найцат, Грегори; Житников, Андрей; Лим, Лек-Хенг (2020). «Топология глубоких нейронных сетей» (PDF) . Журнал исследований машинного обучения . 21 (1): 184:7503–184:7542. ISSN  1532-4435.
  11. ^ Бирдал, Толга; Лу, Аарон; Гибас, Леонидас Дж; Симсекли, Умут (2021). «Внутреннее измерение, постоянная гомология и обобщение в нейронных сетях». Достижения в области нейронных систем обработки информации . 34. Curran Associates, Inc.: 6776– 6789. arXiv : 2111.13171 .
  12. ^ Баллестер, Рубен; Клементе, Ксавье Арнал; Касакуберта, Карлес; Мадади, Мейсам; Корняну, Чиприан А.; Эскалера, Серджио (2024). «Прогнозирование разрыва в обобщении в нейронных сетях с использованием топологического анализа данных». Нейрокомпьютинг . 596 : 127787. arXiv : 2203.12330 . doi : 10.1016/j.neucom.2024.127787.
  13. ^ Рик, Бастиан; Тониналли, Маттео; Бок, Кристиан; Мур, Майкл; Хорн, Макс; Гумбш, Томас; Боргвардт, Карстен (2018-09-27). "Нейронная устойчивость: мера сложности для глубоких нейронных сетей с использованием алгебраической топологии". Международная конференция по представлениям обучения . 8 : 6215–6239 . arXiv : 1812.09764 . doi : 10.3929/ethz-b-000327207. ISBN 978-1-7138-7273-3.
  14. ^ Дюпюи, Бенджамин; Делигианнидис, Джордж; Симсекли, Умут (2023-07-03). «Границы обобщения с использованием фрактальных размерностей, зависящих от данных». Труды 40-й Международной конференции по машинному обучению . PMLR: 8922– 8968.
  15. ^ Бронштейн, Майкл М.; Бруна, Джоан; ЛеКун, Янн; Шлам, Артур; Вандергейнст, Пьер (2017). «Геометрическое глубокое обучение: выход за рамки евклидовых данных». Журнал обработки сигналов IEEE . 34 (4): 18–42 . arXiv : 1611.08097 . Бибкод : 2017ISPM...34...18B. дои : 10.1109/MSP.2017.2693418. ISSN  1053-5888.
  16. ^ ab Bodnar, Cristian; Frasca, Fabrizio; Wang, Yuguang; Otter, Nina; Montufar, Guido F.; Lió, Pietro; Bronstein, Michael (2021-07-01). "Weisfeiler and Lehman Go Topological: Message Passing Simplicial Networks". Труды 38-й Международной конференции по машинному обучению . PMLR: 1026–1037 . arXiv : 2103.03212 .
  17. ^ ab Bodnar, Cristian; Frasca, Fabrizio; Otter, Nina; Wang, Yuguang; Liò, Pietro; Montufar, Guido F; Bronstein, Michael (2021). «Weisfeiler and Lehman Go Cellular: CW Networks». Достижения в области нейронных систем обработки информации . 34. Curran Associates, Inc.: 2625– 2640. arXiv : 2106.12575 .
  18. ^ Карлссон, Гуннар (29.01.2009). «Топология и данные». Бюллетень Американского математического общества . 46 (2): 255– 308. doi : 10.1090/S0273-0979-09-01249-X . ISSN  0273-0979.
  19. ^ Эдкок, Аарон; Карлссон, Эрик; Карлссон, Гуннар (2016). «Кольцо алгебраических функций на штрих-кодах с сохранением». Гомология, гомотопия и приложения . 18 (1): 381– 402. arXiv : 1304.0530 . doi : 10.4310/HHA.2016.v18.n1.a21.
  20. ^ Адамс, Генри; Эмерсон, Теган; Кирби, Майкл; Невилл, Рэйчел; Петерсон, Крис; Шипман, Патрик; Чепуштанова, Софья; Хансон, Эрик; Мотта, Фрэнсис; Цигельмейер, Лори (2017). «Изображения персистентности: стабильное векторное представление персистентной гомологии». Журнал исследований машинного обучения . 18 (8): 1– 35. ISSN  1533-7928.
  21. ^ Бубеник, Питер (2015). «Статистический топологический анализ данных с использованием ландшафтов персистентности». Журнал исследований машинного обучения . 16 (3): 77– 102. ISSN  1533-7928.
  22. ^ Квитт, Роланд; Хубер, Стефан; Нитхаммер, Марк; Лин, Вейли; Бауэр, Ульрих (2015). «Статистический топологический анализ данных — перспектива ядра». Достижения в области нейронных систем обработки информации . 28. Curran Associates, Inc.
  23. ^ Каррьер, Матье; Кутури, Марко; Удо, Стив (17 июля 2017 г.). «Срезанное ядро ​​Вассерштейна для диаграмм персистентности». Труды 34-й Международной конференции по машинному обучению . PMLR: 664–673 . arXiv : 1706.03358 .
  24. ^ Кусано, Генки; Фукумидзу, Кендзи; Хираока, Ясуаки (2018). «Метод ядра для диаграмм постоянства посредством встраивания ядра и весового коэффициента». Журнал исследований машинного обучения . 18 (189): 1–41 . arXiv : 1706.03472 . ISSN  1533-7928.
  25. ^ Le, Tam; Yamada, Makoto (2018). "Persistence Fisher Kernel: A Riemannian Manifold Kernel for Persistence Diagrams". Достижения в области нейронных систем обработки информации . 31. Curran Associates, Inc. arXiv : 1802.03569 .
  26. ^ Мэггс, Келли; Хакер, Селия; Рик, Бастиан (2023-10-13). "Обучение симплициальным представлениям с помощью нейронных k-форм". Международная конференция по обучению представлениям . arXiv : 2312.08515 .
  27. ^ Рамамурти, КН; Гусман-Саенс, А.; Хаджидж, М. (2023), Topo-mlp: симплициальная сеть без передачи сообщений , стр.  1–5 .
  28. ^ Хофер, Кристоф; Квитт, Роланд; Нитхаммер, Марк; Уль, Андреас (2017). «Глубокое обучение с топологическими сигнатурами». Достижения в области нейронных систем обработки информации . 30. Curran Associates, Inc. arXiv : 1707.04041 .
  29. ^ Хофер, Кристоф Д.; Квитт, Роланд; Нитхаммер, Марк (2019). «Изучение представлений штрихкодов стойкости». Журнал исследований машинного обучения . 20 (126): 1– 45. ISSN  1533-7928.
  30. ^ Каррьер, Матье; Шазаль, Фредерик; Айк, Юичи; Лакомб, Тео; Ройер, Мартин; Умеда, Юхэй (2020-06-03). «PersLay: слой нейронной сети для диаграмм персистентности и новых топологических сигнатур графов». Труды Двадцать третьей международной конференции по искусственному интеллекту и статистике . PMLR: 2786– 2796. arXiv : 1904.09378 .
  31. ^ Ким, Кванхо; Ким, Джису; Захир, Манзил; Ким, Джун; Чазал, Фредерик; Вассерман, Ларри (2020). «PLLay: эффективный топологический слой на основе постоянных ландшафтов». Достижения в области нейронных систем обработки информации . 33. Curran Associates, Inc.: 15965– 15977. arXiv : 2002.02778 .
  32. ^ Габриэльссон, Рикард Брюль; Нельсон, Брэдли Дж.; Дваракнат, Анджан; Скраба, Примоз (2020-06-03). «Топологический слой для машинного обучения». Труды Двадцать третьей международной конференции по искусственному интеллекту и статистике . PMLR: 1553–1563 .
  33. ^ ab Хорн, Макс; Брауэр, Эдвард Де; Мур, Майкл; Моро, Ив; Рик, Бастиан; Боргвардт, Карстен (2021-10-06). "Топологические графовые нейронные сети". Международная конференция по представлениям обучения .
  34. ^ Хофер, Кристоф; Граф, Флориан; Рик, Бастиан; Нитхаммер, Марк; Квитт, Роланд (2020-11-21). «Обучение с помощью фильтрации графов». Труды 37-й Международной конференции по машинному обучению . PMLR: 4314– 4323. arXiv : 1905.10996 .
  35. ^ Иммонен, Йоханна; Соуза, Амаури; Гарг, Викас (2023-12-15). «Выход за рамки устойчивой гомологии с использованием устойчивой гомологии». Достижения в области нейронных систем обработки информации . 36 : 63150– 63173. arXiv : 2311.06152 .
  36. ^ Баттилоро, К.; Ди Лоренцо, П.; Рибейро, А. (сентябрь 2023 г.), Параметрическое обучение словарю для топологического представления сигнала , IEEE, стр.  1958–1962
  37. ^ Ван, Ч.; Ма, Н.; У , З.; Чжан, Дж.; Яо, И. (август 2022 г.), Обзор гиперграфовых нейронных сетей и их применение для распознавания действий , Springer Nature Switzerland, стр.  387–398
  38. ^ Родденберри, ТМ; Глейз, Н.; Сегарра, С. (июль 2021 г.), Принципиальные симплициальные нейронные сети для прогнозирования траектории , PMLR, стр.  9020–9029 , arXiv : 2102.10058
Retrieved from "https://en.wikipedia.org/w/index.php?title=Topological_deep_learning&oldid=1272268827"