Источник информации (математика)

В математике источником информации называется последовательность случайных величин, расположенных в конечном алфавите Γ и имеющих стационарное распределение .

Неопределенность или скорость энтропии источника информации определяется как

${\displaystyle H\{\mathbf {X} \}=\lim _{n\to \infty }H(X_{n}|X_{0},X_{1},\dots,X_{n-1} )}$

где

${\displaystyle X_{0},X_{1},\точки ,X_{n}}$

это последовательность случайных величин, определяющая источник информации, и

${\displaystyle H(X_{n}|X_{0},X_{1},\точки ,X_{n-1})}$

есть условная информационная энтропия последовательности случайных величин. Эквивалентно, можно иметь

${\displaystyle H\{\mathbf {X} \}=\lim _{n\to \infty }{\frac {H(X_{0},X_{1},\dots ,X_{n-1}, X_{n})}{n+1}}.}$

• Марковский источник информации
• Асимптотическое свойство равнораспределения

• Роберт Б. Эш, Теория информации , (1965) Dover Publications. ISBN  0-486-66521-6

Эта статья, связанная со статистикой, является заглушкой . Вы можете помочь Википедии, расширив ее.

• в
• т
• е