Передача энтропии

Передача энтропии — это непараметрическая статистика, измеряющая количество направленной (асимметричной по времени) передачи информации между двумя случайными процессами . [1] [2] [3] Передача энтропии от процесса X к другому процессу Y — это количество неопределенности, уменьшенное в будущих значениях Y путем знания прошлых значений X при данных прошлых значениях Y. Более конкретно, если и для обозначают два случайных процесса, а количество информации измеряется с помощью энтропии Шеннона , то передача энтропии может быть записана как: Х т {\displaystyle X_{т}} И т {\displaystyle Y_{t}} т ∈ Н {\displaystyle t\in \mathbb {N} }

Т Х → И = ЧАС ( И т ∣ И т − 1 : т − Л ) − ЧАС ( И т ∣ И т − 1 : т − Л , Х т − 1 : т − Л ) , {\displaystyle T_{X\rightarrow Y}=H\left(Y_{t}\mid Y_{t-1:tL}\right)-H\left(Y_{t}\mid Y_{t-1:tL},X_{t-1:tL}\right),}

где H ( X ) — энтропия Шеннона X. Приведенное выше определение энтропии переноса было расширено другими типами мер энтропии , такими как энтропия Реньи . [3] [4]

Передача энтропии – это условная взаимная информация [ 5] [6] с историей влияющей переменной в состоянии: И т − 1 : т − Л {\displaystyle Y_{t-1:tL}}

Т Х → И = я ( И т ; Х т − 1 : т − Л ∣ И т − 1 : т − Л ) . {\displaystyle T_{X\rightarrow Y}=I(Y_{t};X_{t-1:tL}\mid Y_{t-1:tL}).}

Перевод энтропии сводится к причинности по Грейнджеру для векторных авторегрессионных процессов . [7] Следовательно, это выгодно, когда предположение модели о причинности по Грейнджеру не выполняется, например, при анализе нелинейных сигналов . [8] [9] Однако для точной оценки обычно требуется больше выборок. [10] Вероятности в формуле энтропии можно оценить с помощью различных подходов (биннинг, ближайшие соседи) или, для уменьшения сложности, с помощью неравномерного встраивания. [11] Хотя изначально она была определена для двумерного анализа , энтропия переноса была расширена до многомерных форм, либо обуславливая другие потенциальные исходные переменные [12], либо рассматривая перенос из набора источников, [13] хотя эти формы снова требуют большего количества выборок.

Передача энтропии использовалась для оценки функциональной связности нейронов , [13] [14] [15] социального влияния в социальных сетях [8] и статистической причинно-следственной связи между событиями вооруженных конфликтов. [ 16] Передача энтропии — это конечная версия направленной информации , которая была определена в 1990 году Джеймсом Мэсси [17] как , где обозначает вектор , а обозначает . Направленная информация играет важную роль в характеристике фундаментальных ограничений ( пропускной способности канала ) каналов связи с обратной связью или без нее [18] [19] и в азартных играх с причинной побочной информацией. [20] я ( Х н → И н ) = ∑ я = 1 н я ( Х я ; И я | И я − 1 ) {\displaystyle I(X^{n}\to Y^{n})=\sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})} Х н {\displaystyle X^{n}} Х 1 , Х 2 , . . . , Х н {\displaystyle X_{1},X_{2},...,X_{n}} И н {\displaystyle Y^{n}} И 1 , И 2 , . . . , И н {\displaystyle Y_{1},Y_{2},...,Y_{n}}

Смотрите также

Ссылки

  1. ^ Шрайбер, Томас (1 июля 2000 г.). «Измерение передачи информации». Physical Review Letters . 85 (2): 461– 464. arXiv : nlin/0001042 . Bibcode : 2000PhRvL..85..461S. doi : 10.1103/PhysRevLett.85.461. PMID  10991308. S2CID  7411376.
  2. ^ Сет, Анил (2007). «Причинность по Грейнджеру». Scholarpedia . 2 (7): 1667. Bibcode : 2007SchpJ...2.1667S. doi : 10.4249/scholarpedia.1667 .
  3. ^ ab Главачкова-Шиндлер, Катерина; Палус, М; Веймелка, М; Бхаттачарья, Дж. (1 марта 2007 г.). «Обнаружение причинности на основе информационно-теоретических подходов в анализе временных рядов». Physics Reports . 441 (1): 1– 46. Bibcode :2007PhR...441....1H. CiteSeerX 10.1.1.183.1617 . doi :10.1016/j.physrep.2006.12.004. 
  4. ^ Джизба, Петр; Кляйнерт, Хаген; Шефаат, Мохаммад (2012-05-15). «Передача информации Реньи между финансовыми временными рядами». Physica A: Статистическая механика и ее приложения . 391 (10): 2971– 2989. arXiv : 1106.5913 . Bibcode :2012PhyA..391.2971J. doi :10.1016/j.physa.2011.12.064. ISSN  0378-4371. S2CID  51789622.
  5. ^ Уайнер, А. Д. (1978). «Определение условной взаимной информации для произвольных ансамблей». Информация и управление . 38 (1): 51– 59. doi : 10.1016/s0019-9958(78)90026-8 .
  6. ^ Добрушин, Р. Л. (1959). «Общая формулировка основной теоремы Шеннона в теории информации». Успехи математических наук . 14 : 3–104 .
  7. ^ Барнетт, Лайонел (1 декабря 2009 г.). «Причинность по Грейнджеру и энтропия переноса эквивалентны для гауссовых переменных». Physical Review Letters . 103 (23): 238701. arXiv : 0910.4514 . Bibcode :2009PhRvL.103w8701B. doi :10.1103/PhysRevLett.103.238701. PMID  20366183. S2CID  1266025.
  8. ^ ab Ver Steeg, Greg; Galstyan, Aram (2012). «Передача информации в социальных сетях». Труды 21-й международной конференции по Всемирной паутине (WWW '12) . ACM . С.  509–518 . arXiv : 1110.2724 . Bibcode : 2011arXiv1110.2724V.
  9. ^ Lungarella, M.; Ishiguro, K.; Kuniyoshi, Y.; Otsu, N. (1 марта 2007 г.). «Методы количественной оценки причинной структуры двумерных временных рядов». International Journal of Bifurcation and Chaos . 17 (3): 903– 921. Bibcode : 2007IJBC...17..903L. CiteSeerX 10.1.1.67.3585 . doi : 10.1142/S0218127407017628. 
  10. ^ Pereda, E; Quiroga, RQ; Bhattacharya, J (сен–окт 2005 г.). «Нелинейный многомерный анализ нейрофизиологических сигналов». Progress in Neurobiology . 77 ( 1– 2): 1– 37. arXiv : nlin/0510077 . Bibcode :2005nlin.....10077P. doi :10.1016/j.pneurobio.2005.10.003. PMID  16289760. S2CID  9529656.
  11. ^ Монтальто, А.; Фаес, Л.; Маринаццо, Д. (октябрь 2014 г.). «MuTE: набор инструментов MATLAB для сравнения существующих и новых оценок многомерной трансферной энтропии». PLOS ONE . 9 (10): e109462. Bibcode : 2014PLoSO...9j9462M. doi : 10.1371/journal.pone.0109462 . PMC 4196918. PMID  25314003 . 
  12. ^ Лизье, Джозеф; Прокопенко, Михаил; Зомая, Альберт (2008). «Передача локальной информации как пространственно-временной фильтр для сложных систем». Physical Review E. 77 ( 2): 026110. arXiv : 0809.3275 . Bibcode : 2008PhRvE..77b6110L. doi : 10.1103/PhysRevE.77.026110. PMID  18352093. S2CID  15634881.
  13. ^ ab Lizier, Joseph; Heinzle, Jakob; Horstmann, Annette; Haynes, John-Dylan; Prokopenko, Michael (2011). «Многомерные информационно-теоретические меры выявляют направленную информационную структуру и соответствующие задаче изменения в связности фМРТ». Journal of Computational Neuroscience . 30 (1): 85– 107. doi :10.1007/s10827-010-0271-2. PMID  20799057. S2CID  3012713.
  14. ^ Висенте, Рауль; Вибрал, Майкл; Линднер, Майкл; Пипа, Гордон (февраль 2011 г.). «Трансферная энтропия — модельно-свободная мера эффективной связности для нейронаук». Журнал вычислительной нейронауки . 30 (1): 45– 67. doi :10.1007/s10827-010-0262-3. PMC 3040354. PMID  20706781 . 
  15. ^ Шимоно, Масанори; Беггс, Джон (октябрь 2014 г.). «Функциональные кластеры, концентраторы и сообщества в кортикальном микроконнектоме». Cerebral Cortex . 25 (10): 3743– 57. doi :10.1093/cercor/bhu252. PMC 4585513 . PMID  25336598. 
  16. ^ Кушваха, Нирадж; Ли, Эдвард Д. (июль 2023 г.). «Открытие мезомасштаба для цепочек конфликтов». PNAS Nexus . 2 (7): pgad228. doi :10.1093/pnasnexus/pgad228. ISSN  2752-6542. PMC 10392960. PMID 37533894  . 
  17. ^ Мэсси, Джеймс (1990). «Причинность, обратная связь и направленная информация» (ISITA). CiteSeerX 10.1.1.36.5688 .  {{cite journal}}: Цитировать журнал требует |journal=( помощь )
  18. ^ Пермутэр, Хаим Генри; Вайсман, Цахи; Голдсмит, Андреа Дж. (февраль 2009 г.). «Каналы с конечным числом состояний и детерминированной обратной связью, не зависящей от времени». Труды IEEE по теории информации . 55 (2): 644– 662. arXiv : cs/0608070 . doi : 10.1109/TIT.2008.2009849. S2CID  13178.
  19. ^ Крамер, Г. (январь 2003 г.). «Результаты оценки емкости для дискретной сети без памяти». Труды IEEE по теории информации . 49 (1): 4– 21. doi :10.1109/TIT.2002.806135.
  20. ^ Permuter, Haim H.; Kim, Young-Han; Weissman, Tsachy (июнь 2011 г.). «Интерпретации направленной информации в теории портфеля, сжатии данных и проверке гипотез». Труды IEEE по теории информации . 57 (6): 3248– 3259. arXiv : 0912.4872 . doi : 10.1109/TIT.2011.2136270. S2CID  11722596.
  • «Панели инструментов передачи энтропии». Google Code ., набор инструментов, разработанный на C++ и MATLAB , для вычисления энтропии переноса между последовательностями импульсов.
  • «Java Information Dynamics Toolkit (JIDT)». GitHub . 2019-01-16., набор инструментов, разработанный на Java и используемый в MATLAB , GNU Octave и Python , для вычисления энтропии переноса и связанных с ней информационно-теоретических мер как для дискретных, так и для непрерывных данных.
  • «Набор инструментов многомерной трансферной энтропии (MuTE)». GitHub . 2019-01-09., набор инструментов, разработанный в MATLAB , для вычисления энтропии переноса с различными оценщиками.
Взято с "https://en.wikipedia.org/w/index.php?title=Передача_энтропии&oldid=1233170343"