Статистическое компрессирование аудио сигналов. Вологдин Э.И. - 19 стр.

UptoLike

ВУЗ: 

СПбГУТ | Санкт-Петербург

Составители: 

Рубрика: 

19
4. Энтропийное кодирование
4.1. Информационная энтропия
В общем случае под информационной энтропией понимается мера хаотичности ин-
формации, неопределенность появления какого либо символа первичного алфавита. При
отсутствии информационных потерь она численно равна информации на символ переда-
ваемого сообщения.
Понятие энтропии относится только к случайным величинам, имеющим конечное
число значений
0,1,2.... )in
, распределенных по определенному закону с вероятностью
каждого значения равной
i
p
, причем сумма вероятностей всех исходов равняется единице
0
1
n
i
i
p
Тогда вероятность, что случайная величина
x
примет значение
i
x
, определяется равенст-
вом
()
x i i
P a p
.
Под энтропией случайного сообщения
i
a
, имеющего вероятность
i
p
, понимается ко-
личество информации
, содержащейся в
i
a
, которое определяется равенством
2
( ) log
i i i
I a p p
. (19)
При использовании логарифма с основанием два, информация измеряется в битах.
Если, например, символ (двоичный) может принимать только две кодовые комбина-
ции с вероятностью 0,5, то энтропия этой кодовой комбинации равна 0,5 бита. Если сим-
вол (байт) может принимать
n
комбинаций, входящих в некий алфавит, то энтропия это-
го алфавита определяется равенством
2
1
( ) log
n
ii
i
H a p p
. (20)
Эта величина называется также средней энтропией сообщения, она измеряется числом
бит на символ. Величина
22
1
log log
i
i
p
p
называется частной энтропией, характери-
зующее только
i
состояние случайной величины.
Средняя длина передаваемого кода
()La
в битах определяется равенством
1
( ) ( ) ( )
n
i i i
i
L a P a L a
. (21)
Отношение средней длины передаваемого кода после компрессирования
()
compr
La
к ис-
ходному значению
()La
, называется коэффициентом
сжатия.
В качестве примера рассмотрим энтропию алфавита ,
состоящего всего из двух символов с вероятностями
1
P
и
2
P
. В этом случае энтропия алфавита выражается числом
1 2 1 1 2 1
( ) log (1 )log (1 )H A P P P P
.
В табл.1. приведены различные значения вероятно-
стей вместе с соответствующей энтропией. Когда
12
PP
необходим, по крайней мере, один бит для кодирования
каждого символа. Это означает, что энтропия достигла своего предела и сжатие невоз-
можно. Если вероятности сильно отличаются, то минимальное число требуемых бит на
символ снижается. Сжатие возможно, когда энтропия равна 0,08 бит на символ, и совер-
Табл.1. Вероятности и
энтропия
двух символов

Страницы