История теории информации

Решающим событием, которое создало дисциплину теории информации и немедленно привлекло к ней внимание всего мира, стала публикация классической статьи Клода Э. Шеннона « Математическая теория связи » в журнале Bell System Technical Journal в июле и октябре 1948 года.

В этой революционной и новаторской статье, работа над которой Шеннон в основном завершил в Bell Labs к концу 1944 года, Шеннон впервые представил качественную и количественную модель коммуникации как статистического процесса, лежащего в основе теории информации, начав с утверждения, что

«Основная проблема коммуникации — это воспроизведение в одной точке, точно или приблизительно, сообщения, выбранного в другой точке».

Вместе с этим пришли и идеи

До 1948 г.

Ранние телекоммуникации

Некоторые из старейших методов телекоммуникаций неявно используют многие из идей, которые позже будут количественно оценены в теории информации. Современная телеграфия , начиная с 1830-х годов, использовала азбуку Морзе , в которой более распространенные буквы (например, «E», которая выражается одной «точкой») передаются быстрее, чем менее распространенные буквы (например, «J», которая выражается одной «точкой», за которой следуют три «тире»). Идея кодирования информации таким образом является краеугольным камнем сжатия данных без потерь . Сто лет спустя частотная модуляция продемонстрировала, что полосу пропускания можно считать просто еще одной степенью свободы. Вокодер , который сейчас в основном рассматривается как диковинка аудиотехники, был первоначально разработан в 1939 году для использования меньшей полосы пропускания, чем у исходного сообщения, во многом так же, как мобильные телефоны теперь жертвуют качеством голоса с полосой пропускания.

Количественные идеи информации

Самыми непосредственными предшественниками работы Шеннона были две статьи, опубликованные в 1920-х годах Гарри Найквистом и Ральфом Хартли , которые оба все еще были руководителями исследований в Bell Labs, когда туда прибыл Шеннон в начале 1940-х годов.

Статья Найквиста 1924 года «Определенные факторы, влияющие на скорость телеграфа» в основном посвящена некоторым детальным инженерным аспектам телеграфных сигналов. Но в более теоретическом разделе обсуждается количественная оценка «интеллекта» и «скорости линии», с которой он может передаваться системой связи, давая соотношение

Вт = К бревно ⁡ м {\displaystyle W=K\log m\,}

где W — скорость передачи информации, m — количество различных уровней напряжения, из которых можно выбирать на каждом временном шаге, а K — константа. [1]

В своей работе 1928 года, названной просто «Передача информации», Хартли пошел дальше, используя слово «информация» (в техническом смысле) и четко указав, что информация в этом контексте является измеримой величиной, отражающей только способность получателя различать, что отправитель намеревался передать одну последовательность символов, а не любую другую, — совершенно независимо от любого связанного значения или другого психологического или семантического аспекта, который могли представлять символы. Этот объем информации он количественно определил как

ЧАС = бревно ⁡ С н {\displaystyle H=\log S^{n}\,}

где S — число возможных символов, а n — число символов в передаче. Естественной единицей информации была десятичная цифра, гораздо позже переименованная в Хартли в его честь как единица, шкала или мера информации. Информация Хартли , H 0 , до сих пор используется как величина для логарифма общего числа возможностей. [2]

Аналогичная единица логарифма вероятности 10 , бан , и ее производная единица децибан (одна десятая бана) были введены Аланом Тьюрингом в 1940 году в рамках статистического анализа взлома немецких шифров Enigma времен Второй мировой войны . Децибаннаж представлял собой уменьшение (логарифм) общего числа возможностей (аналогично изменению информации Хартли); а также отношение логарифма правдоподобия (или изменение веса доказательств), которое могло быть выведено для одной гипотезы по сравнению с другой из набора наблюдений. Ожидаемое изменение веса доказательств эквивалентно тому, что позже было названо информацией о дискриминации Кульбака .

Однако в основе этого понятия по-прежнему лежала идея равных априорных вероятностей, а не информационное содержание событий с неравной вероятностью; не было и какой-либо базовой картины вопросов, касающихся сообщения столь различных результатов.

В письме 1939 года Ванневару Бушу Шеннон уже изложил некоторые из своих первоначальных идей теории информации. [3]

Энтропия в статистической механике

Одной из областей, где неравные вероятности были действительно хорошо известны, была статистическая механика, где Людвиг Больцман в контексте своей H-теоремы 1872 года впервые ввел величину

ЧАС = − ∑ ф я бревно ⁡ ф я {\displaystyle H=-\sum f_{i}\log f_{i}}

как мера широты распространения состояний, доступных для одной частицы в газе подобных частиц, где f представляет собой относительное распределение частот каждого возможного состояния. Больцман математически доказал, что эффект столкновений между частицами приведет к неизбежному увеличению H -функции от любой начальной конфигурации до тех пор, пока не будет достигнуто равновесие; и далее определил ее как лежащее в основе микроскопическое обоснование макроскопической термодинамической энтропии Клаузиуса .

Определение Больцмана вскоре было переработано американским физиком-математиком Дж. Уиллардом Гиббсом в общую формулу для статистико-механической энтропии, которая больше не требует идентичных и невзаимодействующих частиц, а вместо этого основывается на распределении вероятностей p i для полного микросостояния i всей системы:

С = − к Б ∑ п я вн ⁡ п я {\displaystyle S=-k_{\text{B}}\sum p_{i}\ln p_{i}\,}

Эта (Гиббсовская) энтропия из статистической механики, как можно обнаружить, напрямую соответствует классическому термодинамическому определению Клаузиуса .

Сам Шеннон, по-видимому, не был особенно осведомлён о близком сходстве между своей новой мерой и более ранней работой по термодинамике, но Джон фон Нейман был. Говорят, что когда Шеннон решал, как назвать свою новую меру, и опасался, что термин «информация» уже слишком часто используется, фон Нейман сказал ему твёрдо: «Вы должны называть это энтропией по двум причинам. Во-первых, ваша функция неопределённости использовалась в статистической механике под этим названием, так что у неё уже есть название. Во-вторых, и это более важно, никто на самом деле не знает, что такое энтропия, поэтому в споре у вас всегда будет преимущество».

(Связи между энтропией теории информации и термодинамической энтропией, включая важный вклад Рольфа Ландауэра в 1960-х годах, более подробно рассматриваются в статье Энтропия в термодинамике и теории информации ).

Развитие с 1948 года

Публикация статьи Шеннона 1948 года " Математическая теория связи " в Bell System Technical Journal стала основанием теории информации, какой мы ее знаем сегодня. С тех пор произошло множество разработок и приложений теории, что сделало возможным появление многих современных устройств для передачи и хранения данных, таких как CD-ROM и мобильные телефоны .

Наиболее значимые последующие разработки перечислены в хронологии теории информации , в том числе:

Смотрите также

Ссылки

  1. ^ "BSTJ 3: 2. Апрель 1924: Некоторые факторы, влияющие на скорость телеграфа. (Найквист, Х.)". Апрель 1924.
  2. ^ "BSTJ 7: 3. Июль 1928: Передача информации. (Хартли, RVL)". Июль 1928.
  3. ^ Tse, David (22.12.2020). «Как Клод Шеннон изобрел будущее». Журнал Quanta . Получено 30.09.2023 .
  4. ^ Грей, Роберт М. (2010). «История цифровой речи в реальном времени в пакетных сетях: Часть II линейного предиктивного кодирования и интернет-протокола» (PDF) . Найдено. Trends Signal Process . 3 (4): 203– 303. doi : 10.1561/2000000036 . ISSN  1932-8346.
  5. ^ Ахмед, Насир (январь 1991 г.). «Как я придумал дискретное косинусное преобразование». Цифровая обработка сигналов . 1 (1): 4– 5. Bibcode : 1991DSP.....1....4A. doi : 10.1016/1051-2004(91)90086-Z.
  6. ^ Ганбари, Мохаммед (2003). Стандартные кодеки: сжатие изображений для усовершенствованного кодирования видео. Институт инженерии и технологий . стр.  1– 2. ISBN 9780852967102.
  7. ^ "T.81 – ЦИФРОВОЕ СЖАТИЕ И КОДИРОВАНИЕ НЕПРЕРЫВНЫХ ТОНАЛЬНЫХ ИЗОБРАЖЕНИЙ – ТРЕБОВАНИЯ И РУКОВОДСТВО" (PDF) . CCITT. Сентябрь 1992 . Получено 12 июля 2019 .
  8. ^ Гукерт, Джон (весна 2012 г.). «Использование FFT и MDCT в сжатии аудио MP3» (PDF) . Университет Юты . Получено 14 июля 2019 г. .
  9. ^ Бранденбург, Карлхайнц (1999). "MP3 и AAC Explained" (PDF) . Архивировано (PDF) из оригинала 2017-02-13.
  10. ^ Джиндал, Ренука П. (2009). «От миллибит до терабит в секунду и выше — более 60 лет инноваций». 2009 2-й Международный семинар по электронным приборам и полупроводниковым технологиям . С.  1– 6. doi :10.1109/EDST.2009.5166093. ISBN 978-1-4244-3831-0. S2CID  25112828.


Взято с "https://en.wikipedia.org/w/index.php?title=История_теории_информации&oldid=1248016492"