Шеннон (единица)

Shannon (сокращенно Sh ) является единицей для информационного содержания в сообщении им после того, как американский математик и создатель теории информации, Клод Элвуд Шеннон .

определение

Шеннон (1 Ш) - это единица количества информации в сообщении. Сообщение описывается набором символов и вероятностями p _i, с которыми отдельные символы появляются в сообщении. По определению, такое сообщение имеет следующее информационное содержание, измеряемое в Шенноне: ${\ Displaystyle Z = \ {z_ {1}, z_ {2}, \ точки, z_ {S} \}}$

${\ displaystyle \ mathrm {H} = - \ sum _ {i} {p_ {i} \ cdot \ log _ {2} p_ {i}} \ {\ text {Sh}}}$

Единица Sh является результатом теории информации, установленной Клодом Шенноном, и соответствует энтропии соответствующего источника новостей и, в биометрии, индексу Шеннона популяции различных видов.

Примеры

• Самый простой пример: одноразовое сообщение из набора символов , где оба символа появляются с вероятностью 0,5 каждый, имеет информационное содержание .${\ Displaystyle Z = \ {0,1 \}}$${\ displaystyle - {\ frac {1} {2}} \; \ log _ {2} \! \ left ({\ frac {1} {2}} \ right) - {\ frac {1} {2} } \; \ log _ {2} \! \ left ({\ frac {1} {2}} \ right) = - \ log _ {2} \! \ left ({\ frac {1} {2}} \ right) = \ log _ {2} (2) = 1 \, {\ text {Sh}}}$

• Если набор символов состоит из десяти символов, например , при этом все символы повторяются с одинаковой вероятностью, тогда информационное содержание равно . Это можно интерпретировать таким образом, что 4-битного кодирования определенно достаточно для передачи таких сообщений (это реализовано, например, с помощью кода BCD ), но при этом сохраняется избыточность . В коде BCD эта избыточность проявляется таким образом, что на самом деле встречаются только 10 из 16 различных символов, которые могут быть представлены этим кодом.${\ displaystyle \ {0,1,2,3,4,5,6,7,8,9 \}}$${\ displaystyle \ textstyle - \ log _ {2} \ left ({\ frac {1} {10}} \ right) = \ log _ {2} (10) \ приблизительно 3 {,} 322 \ \ mathrm {Sh }}$

стандартизация

Определения единиц содержания решений в теории информации можно найти в международных стандартах IEC 60027-3 и ISO 2382-16. В дополнение к единице Шеннона, основанной на логарифме основания 2, объясняются единицы измерения Хартли, основанные на логарифме десяти (символ единицы: Hart), и единица естественной информации, основанная на натуральном логарифме (символ единицы: nat).

литература

• Иоганн Блибергер, Бернд Бургшталлер, Герхард Хельге Шильдт: Информатика - основы . 4-е издание, Springer Verlag, Вена 2002, ISBN 978-3-211-83710-8 .

веб ссылки

• Роланд Бракманн: Теория Шеннона . 28 апреля 2005 г., по состоянию на 26 февраля 2018 г. (PDF; 160 kB).
• Информация, энтропия, теорема Шеннона о кодировании . 21 апреля 2008 г., по состоянию на 26 февраля 2018 г. (PDF; 243 kB).
• Р.Г. Спаллек: Архитектура компьютера I - информационный дисплей . 2004, по состоянию на 26 февраля 2018 г. (PDF; 117 kB).

Индивидуальные доказательства

1. ↑ Новости документации 49 (4), 1998, стр. 221–224.