Неравенство обработки данных

Неравенство обработки данных — это информационно-теоретическая концепция, которая утверждает, что информационное содержание сигнала не может быть увеличено посредством локальной физической операции. Это можно кратко выразить как «постобработка не может увеличить информацию». ^[1]

Пусть три случайные величины образуют цепь Маркова , подразумевая, что условное распределение зависит только от и условно независимо от . В частности, мы имеем такую ​​цепь Маркова, если совместную функцию вероятностной массы можно записать как${\displaystyle X\rightarrow Y\rightarrow Z}$${\displaystyle Z}$${\displaystyle Y}$${\displaystyle X}$

${\ displaystyle p (x, y, z) = p (x) p (y | x) p (z | y) = p (y) p (x | y) p (z | y)}$

В этой настройке никакая обработка , детерминированная или случайная, не может увеличить информацию, содержащуюся о . Используя взаимную информацию , это можно записать как :${\displaystyle Y}$${\displaystyle Y}$${\displaystyle X}$

${\displaystyle I(X;Y)\geqslant I(X;Z),}$

с равенством тогда и только тогда, когда . То есть, и содержат ту же информацию о , а также образуют цепь Маркова. ^[2]${\displaystyle I(X;Y)=I(X;Z)}$${\displaystyle I(X;Y\mid Z)=0}$${\displaystyle Z}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle X\rightarrow Z\rightarrow Y}$

Можно применить цепное правило для взаимной информации, чтобы получить два различных разложения :${\displaystyle I(X;Y,Z)}$

${\displaystyle I(X;Z)+I(X;Y\mid Z)=I(X;Y,Z)=I(X;Y)+I(X;Z\mid Y)}$

Из соотношения мы знаем, что и условно независимы, учитывая , что означает условную взаимную информацию , . Неравенство обработки данных тогда следует из неотрицательности . ${\displaystyle X\rightarrow Y\rightarrow Z}$${\displaystyle X}$${\displaystyle Z}$${\displaystyle Y}$${\displaystyle I(X;Z\mid Y)=0}$${\displaystyle I(X;Y\mid Z)\geq 0}$

• Мусор на входе, мусор на выходе

• http://www.scholarpedia.org/article/Mutual_information

Эта статья по информатике — заглушка . Вы можете помочь Википедии, расширив ее.

• в
• т
• е