Основы кодирования сообщений в системах связи. Никитин Г.И. - 47 стр.

UptoLike

ВУЗ: 

СПб ГУАП | Санкт-Петербург

Составители: 

Рубрика: 

45
Одна из возможных формулировок этой теоремы следующая:
Если производительность источника H′(X) = C – ε, где C – пропуск-
ная способность канала связи, а ε > 0 – сколь угодно малая величина, то
существует способ кодирования, обеспечивающий передачу всех сооб-
щений, вырабатываемых источником, со скоростью R = H′(X) = C – ε.
Если H′(X) > C, то длительная передача всех сообщений невозможна.
Доказательство этой теоремы можно найти в [3]. Другая формулировка
этой теоремы приведена в [1].
Избыточность источника возникает за счет:
неравной вероятности набора символов, составляющих алфавит
источника;
зависимости выбора последующего символа от предыдущего (так, в
связном русском тексте после гласных не может появиться "Ъ", мала
вероятность сочетания более трех согласных подряд и т. п.).
Устранение избыточности достигается следующим образом:
1-й этап – применяется укрупнение алфавита источника для устра-
нения статистической связи между соседними символами (кодируются
не отдельные буквы, а целые слова текста), при этом уменьшается не-
равновероятность букв укрупненного алфавита;
2-й этап – при последующем кодировании используются неравно-
мерные коды; при этом наиболее вероятные буквы ранее укрупненного
алфавита источника передаются меньшим количеством символов.
Теорема кодирования является теоремой существования, т. е. она
доказывает, что оптимальные (эффективные) коды существуют, но не
дает указаний о том, как построить такие коды.
В настоящее время разработано большое количество эвристических
приемов, позволяющих осуществить статистическое кодирование и най-
ти код, близкий к оптимальному. Однако основные свойства и особен-
ности, которыми должны обладать такие эффективные коды, следуют
из теоремы кодирования.
1. Для обеспечения минимальной средней длины кодового слова из-
быточность должна быть сведена к минимуму (желательно к нулю). Для
этого эффективный код должен состоять из кодовых слов, в которых
все символы равновероятны и статистически независимы. Это позво-
ляет уравнять скорость передачи с пропускной способностью канала
связи, что и является целью безызбыточного кодирования.
2. Ни одна из кодовых комбинаций не должна получаться из другой,
более короткой, путем добавления новых символов. Эффективные коды

Страницы