Лекции по теории информации. Фурсов В.А. - 60 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

60
Лекция 7
Оценка информационных характеристик
источников сообщений
7.1 Понятие эргодического источника сообщений
Для построения модели источника дискретных сообщений достаточно за-
дать объём алфавита и вероятности появления на выходе источника отдельных
знаков. Наиболее широко используется модель Шеннона – эргодический ис-
точник сообщения. Эта модель предполагает, что источник представляется эр-
годической случайной последовательностью.
Свойства эргодической модели:
1) вероятности знаков не зависят от их места в последовательности;
2) статистические характеристики, полученные на одном длинном сооб-
щении, справедливы для всех сообщений, создаваемых этим источником.
Если вероятности знаков не зависят от времени, то источник называется
стационарным. Если вероятности не зависят и от предыдущих состояний, то
источник называется стационарным без памяти. Стационарный источник без
памяти, в котором каждый знак выбирается независимо от других, всегда эрго-
дический.
Если имеет место корреляция между знаками, то в качестве модели ис-
пользуют цепь Маркова. Неопределенность этих источников описывается фор-
мулами (4.20), (4.21) (лекция 4). Порядок цепи зависит от того, сколько знаков
связано корреляционной зависимостью.
Предположим, что вероятности знаков, формируемых источником с тремя
возможными состояниями, следующие:
1
0,1
p z ,
2
0,3
p z ,
3
0,6
p z .
Ясно, что в этом случае знак
2
в среднем должен встречаться в три раза чаще,
чем
1
z
, но в два раза реже, чем
3
. Однако в конкретной последовательности,
длина которой ограничена, знаки могут отсутствовать или появляться реже или
чаще, чем это определено указанными вероятностями. Вероятности формиро-

Страницы