Составители:
Рубрика:
35
собой. Для систем связи в большинстве случаев не имеет значения кон-
кретное содержание сообщений, их ценность, важность, истинность или
ложность. Системы передачи информации можно уподобить почте, для
которой важен только сам факт отправления письма, а содержание пе-
ресылаемых писем никак не учитывается. Поэтому понятие количества
информации, применяемое для характеристики технических систем,
значительно беднее, чем используемое нами в повседневной жизни.
Тем не менее, мера количества информации должна согласовы-
ваться с интуитивными представлениями о существенных сторонах
сообщений. При этом разумно руководствоваться следующими со-
ображениями:
чем длиннее сообщение, тем большее количество информации оно
должно содержать;
количество информации в сообщении тем больше, чем больше чис-
ло возможных сообщений;
количество информации должно обладать свойством аддитивности,
т. е. количество информации, содержащееся, например, в двух незави-
симых сообщениях, должно равняться сумме количества информации,
переносимой каждым сообщением;
большее количество информации несут маловероятные сообщения
(сенсации).
Понятие количества информации прошло следующие этапы эволюции:
1. Сообщение состоит не из одного, а из многих символов (букв,
знаков, элементов). Число возможных элементов определяется объемом
m соответствующего алфавита (m
i
, m
k
, m
s
– i – источник, к – кодер,
s – сигнал), а число элементов в сообщении – n. При выборе первого
элемента сообщения производится выбор из m возможных элементов.
При выборе второго делается выбор из того же числа m элементов, но
число возможных комбинаций выбора двух элементов составляет уже
m
2
(при m = 2, например "0" и "1", возможных комбинаций 4: "00", "01",
"10" и "11"). Если же сообщение содержит n элементов, то число раз-
личных сочетаний этих элементов:
N = m
n
. (2.1)
Значение N определяет число возможных сообщений. Оно и может
служить мерой количества информации. Однако мера N не обладает
свойством аддитивности. Действительно, количество информации в
сообщении из n символов не равно сумме количеств информации из n
1
и n
2
символов, так как
Страницы
- « первая
- ‹ предыдущая
- …
- 35
- 36
- 37
- 38
- 39
- …
- следующая ›
- последняя »
