ВУЗ:
Составители:
Рубрика:
77
потерям. Например, в двоичном канале действует помеха, и ошибка
появляется с вероятностью Р
0
= 0,01. По таблице 1 приложения
определяем, что каждый символ теряет 0,08 бит. Таким образом, по
Шеннону, для защиты каждого символа надо добавлять к нему 0,08
символа, что, конечно, невозможно, но для защиты ста символов от
одиночной ошибки можно добавить всего восемь символов, а не двести,
как следовало бы до Шеннона. Как и в первой
теореме, нужно укрупнять
кодируемые
последовательности. В этом суть теоремы Шеннона о
кодировании для каналов с помехами. Строгое доказательство этой
теоремы Шеннона сложно. Ее можно сформулировать так:
если
производительность источника меньше пропускной способности
канала, его сообщения можно
закодировать так, что вероятность
ошибочного декодирования может быть как угодно малой.
Для безошибочной передачи информации должно выполняться
условие
Ru ≤ Ck.
В канале с помехами пропускная способность снижается согласно
(3.4), поэтому для соблюдения условия необходимо понизить
производительность источника. Эта задача решается добавлением в
сообщение хотя бы одного лишнего символа, не несущего информации. В
результате число команд не изменится, а количество символов возрастет,
что означает
уменьшение производительности источника.
В современных линиях связи вероятность ошибки Р < 10
-5
, поэтому
вводимая избыточность в принципе может быть меньше одного символа на
сто информационных.
3.6. Сложные сообщения. Типичные последовательности
В системах автоматики чаще всего передаются сведения об объектах,
которые могут находиться в ограниченном числе состояний (например,
включено - выключено). При передаче текста каждое слово - сложное со-
общение или последовательность сообщений, т.к. оно образовано из раз-
личного числа букв, в свою очередь представленных комбинациями еди-
ниц и нулей. Энтропия источника букв
русского алфавита при условии их
равновероятности и независимости
max
H = 5 бит/букву. Предположим, что
при этих условиях мы образуем слова длиной в
n букв. Энтропия источ-
ника таких
n - буквенных сообщений
max
nH , а общее число «слов», образо-
ванных таким образом
max
2
nH
N = .
Если буквы неравновероятны и статистически связаны, то удельная
энтропия алфавита уменьшается. Для русского языка она равна
буквубитH
i
a
/5,1≈
. Число
n
- буквенных сообщений
i
a
nH
T
N 2= .
Эти последовательности называются
типичными (в национальном
языке - это слова, имеющие смысл). Эти последовательности называют
также
разрешенными.
Страницы
- « первая
- ‹ предыдущая
- …
- 75
- 76
- 77
- 78
- 79
- …
- следующая ›
- последняя »
