Статистическое компрессирование аудио сигналов. Вологдин Э.И. - 20 стр.

UptoLike

ВУЗ: 

СПбГУТ | Санкт-Петербург

Составители: 

Рубрика: 

20
шенно невозможна при энтропии 0,99 бит на символ.
Важно помнить, что энтропия является количеством информации, определенным в
контексте вероятностей модели для источника данных. Например, кидание монеты имеет
энтропию
2
2 log 0,5 1
бит на одно кидание (при условии его независимости). У источ-
ника, который генерирует только одну кодовую комбинацию (вероятность события равна
1), энтропия равна нулю, так как
Энтропия источника данных определяет среднее число битов на элемент данных,
требуемых для ее зашифровки без потери информации, при оптимальном кодировании.
Заметим, что некоторые биты могут не нести информацию, количество энтропии не все-
гда выражается целым числом.
Некоторые математические свойства энтропии:
Неотрицательность:
( ) 0Hx
.
Ограниченность:
2
( ) logH x x
, равенство, если все кодовые комбинации равно-
вероятны.
Если
,xy
независимы, то
( , ) ( ) ( )H x y H x H y
.
Если
,xy
имеют одинаковое распределение вероятностей, то
( ) ( )H x H y
.
Исходный алфавит кодовых комбинаций, встречающийся на практике, обычно имеет
распределение, которое далеко от оптимального, Если исходный алфавит имел
n
сим-
волов, тогда он может быть сравнен с «оптимизированным алфавитом», вероятностное
распределение которого однородно. Соотношение энтропии исходного и оптимизиро-
ванного алфавита – это эффективность исходного алфавита, которая выражается в про-
центах.
Если кодовые комбинации не независимы, то для учета такого фактора используется
условная энтропия. Условной энтропией первого порядка называется энтропия для кодо-
вого алфавита, для которого известны вероятности появления одной комбинации после
другой. Условная энтропия определяется равенством
.
В этой формуле:
i
кодовая комбинация, зависящая от предшествующего символа
j
, и
()
i
pj
вероятность кодовой комбинации
i
при условии, что предыдущим был символ
j
. Через частную и общую условную энтропии полностью описываются информацион-
ные потери передачи данных в канале с помехами .
Энтропийное кодирование — это кодирование словами (кодами) переменной длины,
при котором длина кода символа имеет обратную зависимость от вероятности появления
символа в передаваемом сообщении. Обычно при энтропийном кодировании используют
для сжатия данных коды, длины которых пропорциональны отрицательному логарифму
вероятности символа. Таким образом, наиболее вероятные символы используют наиболее
короткие коды.
К энтропийному кодированию относятся три больших класса кодов: префиксные коды
, кодирование длин серий и арифметические коды. К префиксным кодам принадлежат код
Хаффмана, кодирование Лепеля-Зива, коды Шенона и Шенона-Фано. Среди префиксных
кодов наиболее оптимальным является код Хаффмана. Если приблизительные характери-
стики энтропии потока данных предварительно известны, может быть полезен более про-
стой статистический код, такой как унарное кодирование, гамма-кодирование Элиаса, ко-
дирование Фибоначчи, кодирование Голомба или кодирование Райса.
Энтропийное кодирование эффективно, когда последовательность кодовых символов
имеет случайный характер с распределением по закону Лапласа или Гаусса. При исход-
2
1
log 1 0
i

Страницы