Хартли (единица)

Единица информации

Хартли (символ Харт ), также называемый бан или дит (сокращение от «десятичная цифра»), ^[1]^[2]^[3] — это логарифмическая единица , которая измеряет информацию или энтропию , основанная на логарифмах с основанием 10 и степенях числа 10. Один хартли — это информационное содержание события, если вероятность того, что это событие произойдет, составляет 1 ⁄ 10 . ^[4] Таким образом, он равен информации, содержащейся в одной десятичной цифре (или дит), предполагая априорную равновероятность каждого возможного значения. Он назван в честь Ральфа Хартли .

Если вместо этого использовать логарифмы по основанию 2 и степени 2, то единицей информации будет шеннон или бит , который представляет собой информационное содержание события, если вероятность того , что это событие произойдет, составляет 1 ⁄ 2. Натуральные логарифмы и степени e определяют нат .

Один бан соответствует ln(10) nat = log ₂ (10) Sh , или приблизительно 2,303 nat , или 3,322 бит (3,322 Sh). [ ^a] Децибан составляет одну десятую бана (или около 0,332 Sh); название образовано от ban при помощи префикса SI deci- .

Хотя в системе СИ нет соответствующей единицы , информационная энтропия является частью Международной системы величин , определенной международным стандартом МЭК 80000-13 Международной электротехнической комиссии .

История

Термин Хартли назван в честь Ральфа Хартли , который в 1928 году предложил измерять информацию с использованием логарифмического основания, равного числу различимых состояний в ее представлении, которое было бы основанием 10 для десятичной цифры. ^[5]^[6]

Бан и децибан были изобретены Аланом Тьюрингом и Ирвингом Джоном «Джеком» Гудом в 1940 году для измерения количества информации, которую могли вывести дешифровальщики в Блетчли -Парке , используя процедуру Banburismus , для определения неизвестной настройки немецкой военно-морской шифровальной машины Enigma на каждый день . Название было навеяно огромными листами карт, напечатанными в городе Банбери, примерно в 30 милях отсюда, которые использовались в этом процессе. ^[7]

Гуд утверждал, что последовательное суммирование децибанов для создания меры веса доказательств в пользу гипотезы, по сути, является байесовским выводом . ^[7] Дональд А. Гиллис , однако, утверждал, что запрет , по сути, то же самое, что и мера строгости теста Карла Поппера . ^[8]

Использование в качестве единицы коэффициента

Децибан является особенно полезной единицей для логарифмов шансов , особенно как мера информации в факторах Байеса , отношениях шансов (отношение шансов, поэтому логарифм — это разность логарифмов шансов) или весах доказательств. 10 децибанов соответствуют шансам 10:1; 20 децибанов — шансам 100:1 и т. д. По словам Гуда, изменение веса доказательства на 1 децибан (т. е. изменение шансов с четных до примерно 5:4) — это примерно то же самое, что люди могут разумно количественно оценить степень своей веры в гипотезу. ^[9]

Коэффициенты, соответствующие целым децибанам, часто можно хорошо аппроксимировать простыми целочисленными отношениями; они собраны ниже. Значение до двух знаков после запятой, простое приближение (в пределах примерно 5%), с более точным приближением (в пределах 1%), если простое приближение неточно:

децибаны	точное значение	приблизительная стоимость	приблизительное соотношение	точное соотношение	вероятность
0	10 ^0/10	1	1:1		50%
1	10 ^1/10	1.26	5:4		56%
2	10 ^2/10	1.58	3:2	8:5	61%
3	10 ^3/10	2.00	2:1		67%
4	10 ^4/10	2.51	5:2		71,5%
5	10 ^5/10	3.16	3:1	19:6, 16:5	76%
6	10 ^6/10	3.98	4:1		80%
7	10 ^7/10	5.01	5:1		83%
8	10 ^8/10	6.31	6:1	19:3, 25:4	86%
9	10 ^9/10	7.94	8:1		89%
10	10 ^10/10	10	10:1		91%

Смотрите также

Примечания

^ Это значение, приблизительно равное 10 ⁄ 3 , но немного меньше, можно понять просто потому, что : 3 десятичные цифры содержат немного меньше информации, чем 10 двоичных цифр, поэтому 1 десятичная цифра немного меньше , чем 10 ⁄ 3 двоичных цифр. $10^{3}=1,000\lesssim 1,024=2^{10}$

Ссылки

^ Клар, Райнер (1 февраля 1970 г.). «1.8.1 Begriffe aus der Informationstheorie» [1.8.1 Термины, используемые в теории информации]. Digitale Rechenautomaten – Eine Einführung [ Цифровые компьютеры – Введение ]. Sammlung Göschen (на немецком языке). Том. 1241/1241а (1-е изд.). Берлин, Германия: Вальтер де Грюйтер и компания / GJ Göschen'sche Verlagsbuchhandlung [de] . п. 35. ISBN 3-11-083160-0. ISBN 978-3-11-083160-3 . Архивный номер 7990709. Архивировано из оригинала 2020-04-18 . Получено 2020-04-13 . (205 страниц) (Примечание. Переиздание первого издания 2019 года доступно под ISBN 3-11002793-3 , 978-3-11002793-8 . Существует также переработанное и расширенное 4-е издание.)
^ Клар, Райнер (1989) [1988-10-01]. «1.9.1 Begriffe aus der Informationstheorie» [1.9.1 Термины, используемые в теории информации]. Digitale Rechenautomaten – Eine Einführung in die Struktur von Computerhardware [ Цифровые компьютеры – Введение в структуру компьютерного оборудования ]. Sammlung Göschen (на немецком языке). Том. 2050 г. (4-е переработанное изд.). Берлин, Германия: Walter de Gruyter & Co. 57. ИСБН 3-11011700-2. ISBN 978-3-11011700-4 . (320 страниц)
^ Лукофф, Герман (1979). От Dits to Bits: личная история электронного компьютера . Портленд, Орегон, США: Robotics Press. ISBN 0-89661-002-0. LCCN 79-90567.
^ "IEC 80000-13:2008". Международная организация по стандартизации (ISO) . Получено 21 июля 2013 г.
^ Хартли, Ральф Винтон Лион ( июль 1928 г.). «Передача информации» (PDF) . Bell System Technical Journal . VII (3): 535–563 . Получено 27.03.2008 .
^ Реза, Фазлолла М. (1994). Введение в теорию информации . Нью-Йорк: Dover Publications . ISBN 0-486-68210-2.
^ ab Good, Irving John (1979). «Исследования по истории вероятности и статистики. XXXVII AM Статистическая работа Тьюринга во Второй мировой войне». Biometrika . 66 (2): 393– 396. doi :10.1093/biomet/66.2.393. MR 0548210.
^ Джиллис, Дональд А. (1990). «Функция веса доказательств Тьюринга-Гуда и мера Поппера строгости теста». British Journal for the Philosophy of Science . 41 (1): 143– 146. doi :10.1093/bjps/41.1.143. JSTOR 688010. MR 0055678.
^ Good, Irving John (1985). "Вес доказательств: краткий обзор" (PDF) . Bayesian Statistics . 2 : 253. Получено 13.12.2012 .

[5] Это значение, приблизительно равное 10 ⁄ 3 , но немного меньше, можно понять просто потому, что : 3 десятичные цифры содержат немного меньше информации, чем 10 двоичных цифр, поэтому 1 десятичная цифра немного меньше , чем 10 ⁄ 3 двоичных цифр. $10^{3}=1,000\lesssim 1,024=2^{10}$

[Klar_1970-1] Клар, Райнер (1 февраля 1970 г.). «1.8.1 Begriffe aus der Informationstheorie» [1.8.1 Термины, используемые в теории информации]. Digitale Rechenautomaten – Eine Einführung [ Цифровые компьютеры – Введение ]. Sammlung Göschen (на немецком языке). Том. 1241/1241а (1-е изд.). Берлин, Германия: Вальтер де Грюйтер и компания / GJ Göschen'sche Verlagsbuchhandlung [de] . п. 35. ISBN 3-11-083160-0. ISBN 978-3-11-083160-3 . Архивный номер 7990709. Архивировано из оригинала 2020-04-18 . Получено 2020-04-13 . (205 страниц) (Примечание. Переиздание первого издания 2019 года доступно под ISBN 3-11002793-3 , 978-3-11002793-8 . Существует также переработанное и расширенное 4-е издание.)

[Klar_1989-2] Клар, Райнер (1989) [1988-10-01]. «1.9.1 Begriffe aus der Informationstheorie» [1.9.1 Термины, используемые в теории информации]. Digitale Rechenautomaten – Eine Einführung in die Struktur von Computerhardware [ Цифровые компьютеры – Введение в структуру компьютерного оборудования ]. Sammlung Göschen (на немецком языке). Том. 2050 г. (4-е переработанное изд.). Берлин, Германия: Walter de Gruyter & Co. 57. ИСБН 3-11011700-2. ISBN 978-3-11011700-4 . (320 страниц)

[Lukoff_1979-3] Лукофф, Герман (1979). От Dits to Bits: личная история электронного компьютера . Портленд, Орегон, США: Robotics Press. ISBN 0-89661-002-0. LCCN 79-90567.

[IEC-4] "IEC 80000-13:2008". Международная организация по стандартизации (ISO) . Получено 21 июля 2013 г.

[Hartley_1928-6] Хартли, Ральф Винтон Лион ( июль 1928 г.). «Передача информации» (PDF) . Bell System Technical Journal . VII (3): 535–563 . Получено 27.03.2008 .

[Reza_1994-7] Реза, Фазлолла М. (1994). Введение в теорию информации . Нью-Йорк: Dover Publications . ISBN 0-486-68210-2.

[Good_1979-8] Good, Irving John (1979). «Исследования по истории вероятности и статистики. XXXVII AM Статистическая работа Тьюринга во Второй мировой войне». Biometrika . 66 (2): 393– 396. doi :10.1093/biomet/66.2.393. MR 0548210.

[Gillies_1990-9] Джиллис, Дональд А. (1990). «Функция веса доказательств Тьюринга-Гуда и мера Поппера строгости теста». British Journal for the Philosophy of Science . 41 (1): 143– 146. doi :10.1093/bjps/41.1.143. JSTOR 688010. MR 0055678.

[Good_1985-10] Good, Irving John (1985). "Вес доказательств: краткий обзор" (PDF) . Bayesian Statistics . 2 : 253. Получено 13.12.2012 .