Составители:
Рубрика:
)/(log)/()()/(
1
ji
m
j
jij
m
i
abpabpapABH
∑∑
=
−= .
Количество принятой информации (в битах) в этом случае
определяется как
),/()(),( ABHAHABI
−
=
где ) – энтропия априорного распределения сигнала . (AH
i
а
Пример 1.3. Требуется вычислить среднее количество ин-
формации для двоичного канала связи, в котором вероятность
появления принятых сигналов , 9 1,0)(
2
,0)(
1
=ap
=
ap .
Решение.
Канал связи описан матрицей
93,007,0
05,095,0
)/( =abp
,
т. е.
;95,0)/(
11
=
abp
;05,0)/(
12
=abp ;07,0)/(
21
=
abp
.
93,0)
2
=a/(
2
bp
Это означает, что если послан сигнал , то с вероятностью
0,95 можно утверждать, что на выходе канала связи будет сигнал
1
, а с вероятностью 0,05 – сигнал
2
b . Если послан сигнал
2
, то
с вероятностью 0,93 можно утверждать, что на выходе канала
связи будет сигнал , а с вероятностью 0,07 – что сигнал .
1
a
b a
1
b
2
b
Найдем энтропию при приеме сигналов:
2863,005,0log05,095,0log95,0log)(
1
=+=−=
∑
=
i
n
i
i
ppAH
бит.
Найдем условную энтропию:
)/(log)/()()/(
11
ij
m
j
iji
m
i
abpabpаpАВH
∑∑
==
−= =
=
+
− )/(log)/()[(
11111
abpabpap
−
)]/(log)/(
1212
abpabp
+
− )/(log)/()[(
21212
abpabpap
=
)]/(log)/(
2222
abpabp
=
−
+
−
]05,0log05,095,0log95,0[9,0
=
+
− ]93,0log93,007,0log07,0[1,0 0,2771 бит.
17
m m H ( B / A) = − ∑ ∑ p(a ) p(b / a ) log p(b / a ) . i j =1 j i j i j Количество принятой информации (в битах) в этом случае определяется как I ( B, A) = H ( A) − H ( B / A), где H ( A) – энтропия априорного распределения сигнала аi . Пример 1.3. Требуется вычислить среднее количество ин- формации для двоичного канала связи, в котором вероятность появления принятых сигналов p (a1 ) = 0,9 , p (a2 ) = 0,1 . Решение. Канал связи описан матрицей 0,95 0,05 p(b / a) = 0,07 0,93 , т. е. p(b1 / a1 ) = 0,95; p(b2 / a1 ) = 0,05; p(b1 / a2 ) = 0,07; p(b2 / a2 ) = 0,93 . Это означает, что если послан сигнал a1 , то с вероятностью 0,95 можно утверждать, что на выходе канала связи будет сигнал b1 , а с вероятностью 0,05 – сигнал b2 . Если послан сигнал a2 , то с вероятностью 0,93 можно утверждать, что на выходе канала связи будет сигнал b2 , а с вероятностью 0,07 – что сигнал b1 . Найдем энтропию при приеме сигналов: n H ( A) = − ∑ p log p = 0,95log 0,95 + 0,05log 0,05 = 0,2863 бит. i =1 i i Найдем условную энтропию: m m H ( В / А) = − ∑ ∑ p ( а ) p (b i =1 j =1 i j / ai ) log p(b j / ai ) = = − p(a1 )[ p(b1 / a1 ) log p (b1 / a1 ) + p (b2 / a1 ) log p (b2 / a1 )] − − p(a2 )[ p(b1 / a2 ) log p(b1 / a2 ) + p(b2 / a2 ) log p(b2 / a2 )] = = − 0,9[0,95 log 0,95 + 0,05 log 0,05] − − 0,1[0,07 log 0,07 + 0,93 log 0,93] = 0,2771 бит. 17
Страницы
- « первая
- ‹ предыдущая
- …
- 15
- 16
- 17
- 18
- 19
- …
- следующая ›
- последняя »