Сборник примеров и задач по теории информации: Руководство для практических занятий на базе Mathcad 6.0 Plus. Кавчук С.В. - 6 стр.

UptoLike

ВУЗ: 

ТТИ ЮФУ | Таганрог

Составители: 

Рубрика: 

6
H
Z
=1
2
i
.
Pz
i
ln Pz
i
.
pln( )p
..
2qln( )
.
2q
и составит
=H
Z
0.89 bit
.
Таким образом, в случае равновероятных сообщений большей неопреде-
ленностью обладает троичный источник Y. При этом неопределенность может
быть подсчитана так же как мера Хартли, равная logN, где N − число равнове-
роятных сообщений. Сравнение двоичных источников X и Z показывает, что
большей неопределенностью обладает источник с равновероятными сообще-
ниями.
Пример 1.2.2. Число символов алфавита источника N4 (i..1N
или
j..1N). Вероятности появления символов источника
Px
1
0.5
,
Px
2
0.25
,
Px
3
0.125
и
Px
4
0.125
.
Между соседними символами имеются корреляционные связи, которые опи-
сываются при
ORIGIN 1 матрицей условных вероятностей P(x
i
/x
j
)=Px
x
,ij
следующего вида
Px
x
5
8
1
8
0
1
2
3
8
1
2
0
1
4
0
3
8
0
1
4
0
0
1
0
, например =Px
x
,22
0.5
Требуется определить энтропию источника.
Решение. Сначала определим единицы измерения количества энтропии:
а) при натуральном логарифме (нит) −
nit ln ( )e ;
б) при двоичном логарифме (бит) −
bit
.
nit ln ( )2 .
Ввиду зависимости между символами неопределенность источника характери-
зуется условной энтропией H(X/X). С учетом корреляционной связи и соот-
ношения
)y/x(P)y(P)y,x(P
jijji
=
на основании (1.5) условная энтропия
.

Страницы