Сборник примеров и задач по теории информации: Руководство для практических занятий на базе Mathcad 6.0 Plus. Кавчук С.В. - 48 стр.

UptoLike

ВУЗ: 

ТТИ ЮФУ | Таганрог

Составители: 

Рубрика: 

48
Требуется определить избыточность источника R1 при статистической
независимости символов и R2 при учете зависимости между символами.
Решение. Для оценки избыточности нужно найти безусловную энтропию
H1(X) и условную энтропию H2(X/X) источника. Сначала определим единицы
измерения количества энтропии:
а) при натуральном логарифме (нит) −
nit ln ( )e ;
б) при двоичном логарифме (бит) −
bit
.
nit ln ( )2 .
В случае не учета статистической связи на основании (1.1) для H1(X)
имеем
H1
X
=1
4
i
.
Px
i
ln Px
i
;
=H1
X
1.75 bit
.
С учетом корреляционной связи на основании (1.5) или (1.7)
H2X
X
=1
4
i
.
Px
i
=1
4
j
.
Px
x
,ij
ln Px
x
,ij
;
=H2X
X
0.887 bit
.
Максимально возможная энтропия источника с четырьмя символами оп-
ределяется мерой Хартли
H
max
ln ( )4
;
=H
max
2 bit
.
Cледовательно,
R1 1
H1
X
H
max
; =R1 0.125
R2 1
H2X
X
H
max
; =R2 0.556
Пример 3.2.3. По каналу связи передается ансамбль 3 сигналов x
i
,
i..13 с длительностью
τ
.
0.01 sec
и частотой следования F
1
τ
. Источ-
ник сигналов имеет матрицу P(X)=Px безусловных вероятностей
Px
0.4
0.3
0.3
;
=Px
2
0.3
.
.
.

Страницы