Лекции по теории информации. Фурсов В.А. - 52 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

52
Лекция 6
Количество информации как мера снятой неопределенности
6.1 Количество информации при передаче отдельного элемента
дискретного сообщения
Предположим, что задан некоторый дискретный источник информации,
характеризующийся дискретным вероятностным ансамблем:
1 2
1 2
( ) ( ) ( )
N
N
z
z z
Z
p z p z p z
,
где
, 1,
i
z i N
– его возможные состояния. Каждому состоянию источника
можно поставить в соответствие отдельный первичный сигнал. Некоторую за-
данную совокупность первичных сигналов, поступающих с выхода источника
информации на вход канала связи принято называть сообщением, а
z
– элемен-
том сообщения.
Если состояния источника реализуются независимо друг от друга, то част-
ная априорная неопределённость появления на входе канала элемента сообще-
ния
z
в соответствии с (4.6) определяется как
2
log
i i
H z p z
. (6.1)
Предположим, что статистическая связь между помехой и элементами со-
общения отсутствует и известны условные вероятности того, что вместо
z
при-
нимается
j
v
:
/ , 1, , 1,
i j
p z v i N j K
.
Таким образом, если на выходе канала получен элемент
j
v
, то становится из-
вестной апостериорная вероятность
/
i j
p z v
. Следовательно, можно опреде-
лить апостериорную частную неопределённость:
2
log /
j
v i i j
H z p z v
. (6.2)

Страницы