Совместная энтропия

Теория информации
Энтропия Дифференциальная энтропия Условная энтропия Совместная энтропия Взаимная информация Направленная информация Условная взаимная информация Относительная энтропия Скорость энтропии Предельная плотность дискретных точек
Asymptotic equipartition property Rate–distortion theory
Shannon's source coding theorem Channel capacity Noisy-channel coding theorem Shannon–Hartley theorem
v t e

В теории информации совместная энтропия является мерой неопределенности, связанной с набором переменных . ^[2]

Совместная энтропия Шеннона (в битах ) двух дискретных случайных величин и с изображениями определяется как ^{[3] : 16}${\displaystyle X}$${\displaystyle Y}$${\displaystyle {\mathcal {X}}}$${\displaystyle {\mathcal {Y}}}$

${\displaystyle \mathrm {H} (X,Y)=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}P(x,y)\log _{2}[P(x,y)]}$

Ур.1

где и являются частными значениями и , соответственно, является совместной вероятностью появления этих значений вместе и определяется как 0, если .${\displaystyle x}$${\displaystyle y}$${\displaystyle X}$${\displaystyle Y}$${\displaystyle P(x,y)}$${\displaystyle P(x,y)\log _{2}[P(x,y)]}$${\displaystyle P(x,y)=0}$

Для более чем двух случайных величин это расширяется до${\displaystyle X_{1},...,X_{n}}$

${\displaystyle \mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1}\in {\mathcal {X}}_{1}}...\sum _{x_{n}\in {\mathcal {X}}_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}$

Ур.2

где — частные значения , соответственно, — вероятность того, что эти значения появятся вместе, и определяется как 0, если .${\displaystyle x_{1},...,x_{n}}$${\displaystyle X_{1},...,X_{n}}$${\displaystyle P(x_{1},...,x_{n})}$${\displaystyle P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}$${\displaystyle P(x_{1},...,x_{n})=0}$

Совместная энтропия набора случайных величин является неотрицательным числом.

${\displaystyle \mathrm {H} (X,Y)\geq 0}$

${\displaystyle \mathrm {H} (X_{1},\ldots ,X_{n})\geq 0}$

Совместная энтропия набора переменных больше или равна максимуму всех индивидуальных энтропий переменных в наборе.

${\displaystyle \mathrm {H} (X,Y)\geq \max \left[\mathrm {H} (X),\mathrm {H} (Y)\right]}$

${\displaystyle \mathrm {H} {\bigl (}X_{1},\ldots ,X_{n}{\bigr )}\geq \max _{1\leq i\leq n}{\Bigl \{}\mathrm {H} {\bigl (}X_{i}{\bigr )}{\Bigr \}}}$

Совместная энтропия набора переменных меньше или равна сумме индивидуальных энтропий переменных в наборе. Это пример субаддитивности . Это неравенство является равенством тогда и только тогда, когда и статистически независимы . [ ^{3] : 30}${\displaystyle X}$${\displaystyle Y}$

${\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}$

${\displaystyle \mathrm {H} (X_{1},\ldots ,X_{n})\leq \mathrm {H} (X_{1})+\ldots +\mathrm {H} (X_{n})}$

Совместная энтропия используется в определении условной энтропии ^{[3] : 22}

${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y)\,}$,

и

${\displaystyle \mathrm {H} (X_{1},\dots ,X_{n})=\sum _{k=1}^{n}\mathrm {H} (X_{k}|X_{k-1},\dots ,X_{1})}$.

Он также используется в определении взаимной информации ^{[3] : 21}

${\displaystyle \operatorname {I} (X;Y)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\,}$.

В квантовой теории информации совместная энтропия обобщается в совместную квантовую энтропию .

Вышеприведенное определение относится к дискретным случайным величинам и справедливо в случае непрерывных случайных величин. Непрерывная версия дискретной совместной энтропии называется совместной дифференциальной (или непрерывной) энтропией . Пусть и будут непрерывными случайными величинами с совместной функцией плотности вероятности . Дифференциальная совместная энтропия определяется как ^{[3] : 249}${\displaystyle X}$${\displaystyle Y}$ ${\displaystyle f(x,y)}$${\displaystyle h(X,Y)}$

${\displaystyle h(X,Y)=-\int _{{\mathcal {X}},{\mathcal {Y}}}f(x,y)\log f(x,y)\,dxdy}$

Ур.3

Для более чем двух непрерывных случайных величин определение обобщается следующим образом:${\displaystyle X_{1},...,X_{n}}$

${\displaystyle h(X_{1},\ldots ,X_{n})=-\int f(x_{1},\ldots ,x_{n})\log f(x_{1},\ldots ,x_{n})\,dx_{1}\ldots dx_{n}}$

Ур.4

Интеграл берется по носителю . Возможно, что интеграл не существует, и в этом случае мы говорим, что дифференциальная энтропия не определена .${\displaystyle f}$

Как и в дискретном случае, совместная дифференциальная энтропия набора случайных величин меньше или равна сумме энтропий отдельных случайных величин:

${\displaystyle h(X_{1},X_{2},\ldots ,X_{n})\leq \sum _{i=1}^{n}h(X_{i})}$^{[3] : 253}

Для двух случайных величин справедливо следующее цепное правило:

${\displaystyle h(X,Y)=h(X|Y)+h(Y)}$

В случае более двух случайных величин это обобщается до: ^{[3] : 253}

${\displaystyle h(X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}h(X_{i}|X_{1},X_{2},\ldots ,X_{i-1})}$

Совместная дифференциальная энтропия также используется при определении взаимной информации между непрерывными случайными величинами:

${\displaystyle \operatorname {I} (X,Y)=h(X)+h(Y)-h(X,Y)}$