Неравенство энтропийной мощности

В теории информации неравенство энтропийной мощности ( EPI ) является результатом, который относится к так называемой «энтропийной мощности» случайных величин . Оно показывает, что энтропийная мощность надлежащим образом хорошо ведущих себя случайных величин является супераддитивной функцией . Неравенство энтропийной мощности было доказано в 1948 году Клодом Шенноном в его основополагающей статье « Математическая теория связи ». Шеннон также предоставил достаточное условие для соблюдения равенства; Стэм (1959) показал, что это условие на самом деле необходимо.

Для случайного вектора X  : Ω →  R ⁿ с функцией плотности вероятности f  :  R ⁿ  →  R дифференциальная энтропия X , обозначаемая h ( X ), определяется как

${\displaystyle h(X)=-\int _{\mathbb {R} ^{n}}f(x)\log f(x)\,dx}$

а энтропийная мощность X , обозначаемая N ( X ), определяется как

${\displaystyle N(X)={\frac {1}{2\pi e}}e^{{\frac {2}{n}}h(X)}.}$

В частности, N ( X ) = | K | ^{1/ n} , когда X  имеет нормальное распределение с ковариационной матрицей K .

Пусть X и Y — независимые случайные величины с функциями плотности вероятности в пространстве L p ⁽ R n ^{) для} некоторого p  > 1. Тогда

${\displaystyle N(X+Y)\geq N(X)+N(Y).\,}$

Более того, равенство имеет место тогда и только тогда, когда X и Y являются многомерными нормальными случайными величинами с пропорциональными ковариационными матрицами .

Неравенство энтропийной мощности можно переписать в эквивалентной форме, которая явно не зависит от определения энтропийной мощности (см. ссылку Коста и Ковер ниже).

Пусть X и Y — независимые случайные величины , как указано выше. Тогда пусть X' и Y' — независимо распределенные случайные величины с гауссовыми распределениями, такие, что

${\displaystyle h(X')=h(X)}$и${\displaystyle h(Y')=h(Y)}$

Затем,

${\ displaystyle h (X + Y) \ geq h (X '+ Y')}$

• Информационная энтропия
• Теория информации
• Предельная плотность дискретных точек
• Самоинформация
• Расхождение Кульбака–Лейблера
• Оценка энтропии

• Дембо, Амир; Кавер, Томас М.; Томас, Джой А. (1991). «Информационно-теоретические неравенства». IEEE Trans. Inf. Theory . 37 (6): 1501–1518. doi :10.1109/18.104312. MR  1134291. S2CID  845669.
• Коста, Макс ХМ; Кавер, Томас М. (1984). «О сходстве неравенства энтропии-степени и неравенства Брунна-Минковского». IEEE Trans. Inf. Theory . 30 (6): 837–839. doi :10.1109/TIT.1984.1056983.
• Гарднер, Ричард Дж. (2002). «Неравенство Брунна–Минковского». Bull. Amer. Math. Soc. (NS) . 39 (3): 355–405 (электронный). doi : 10.1090/S0273-0979-02-00941-2 .
• Шеннон, Клод Э. (1948). «Математическая теория связи». Bell System Tech. J. 27 (3): 379–423, 623–656. doi :10.1002/j.1538-7305.1948.tb01338.x. hdl : 10338.dmlcz/101429 .
• Стам, А. Дж. (1959). «Некоторые неравенства, которым удовлетворяют количества информации Фишера и Шеннона». Информация и управление . 2 (2): 101–112. doi : 10.1016/S0019-9958(59)90348-1 .