Сборник примеров и задач по теории информации: Руководство для практических занятий на базе Mathcad 6.0 Plus. Кавчук С.В. - 60 стр.

UptoLike

ВУЗ: 

ТТИ ЮФУ | Таганрог

Составители: 

Рубрика: 

60
Таблица 4.1.1
Сообщения Вероятность Двоичный код
x
1
0.04 00000
x
2
0.06 00001
x
3
0.08 0001
x
4
0.10 100
x
5
0.10 101
Окончание табл. 4.1.1
Сообщения Вероятность Двоичный код
x
6
0.12 010
x
7
0.15 011
x
8
0.15 001
x
9
0.20 11
Согласно таблице кодирования 4.1.1, длину кодовых комбинаций можно
описать вектор-строкой
n( )554333332.
Средняя длина кодового слова в битах
n
cp
.
n
N
ln ( )2
;
=n
cp
3.444 bit
.
Энтропия источника сообщений
H
X
=1
N
i
.
T
Px
i
ln
T
Px
i
;
=H
X
3.038 bit
.
На основании (4.2) минимально возможная средняя длина кодового слова
равна энтропии источника, т.е.
n
cp.min
H
X
;
=n
cp.min
3.038 bit
.
В случае равномерного двоичного кодирования девяти сообщений требу-
ется четырехразрядное кодовое слово для каждого сообщения, так как 2
3
<9.
При таком кодировании максимальная средняя длина кодового слова
n
cp.max
4
bit.
Таким образом, проведенное кодирование более эффективно, чем равно-
мерное. Однако оно не достигает максимально возможной эффективности, так
как n
cp.min
< n
cp
< n
cp.max
.

Страницы