ВУЗ:
Составители:
Рубрика:
151
Условная энтропия характеризует среднюю степень неопределенности
принимаемых сигналов, обусловленную действием помех.
При сопряжении входа канала с любым источ-
ником двоичной информации на вход могут поступать
двоичные символы
1
x и
2
x с вероятностями
(
)
1
xp и
()()
1
1 xp− соответственно (рис.4.3). На выходе канала
появляются двоичные символы
1
y
и
2
y
. Обозначим
вероятность ошибки при передаче любого символа
через
ош
p . Тогда,
ош
p
x
y
p
x
y
p −=
⎟
⎠
⎞
⎜
⎝
⎛
=
⎟
⎠
⎞
⎜
⎝
⎛
1
2
2
1
1
, а
ош
p
x
y
p
x
y
p =
⎟
⎠
⎞
⎜
⎝
⎛
=
⎟
⎠
⎞
⎜
⎝
⎛
1
2
2
1
. В общем случае, для m -ичного
дискретного канала [5]:
⎪
⎩
⎪
⎨
⎧
=−
≠
−
=
⎟
⎠
⎞
⎜
⎝
⎛
. при 1
, при
1
jip
ji
m
p
x
y
p
ош
ош
i
j
.
Тогда «шумовая» энтропия будет определяться выражением [5]:
()
()
()()
.
1
log1log1
1
log
22
2
11
−
⋅−−⋅−−=
=
⎟
⎠
⎞
⎜
⎝
⎛
⋅
⎟
⎠
⎞
⎜
⎝
⎛
=
∑∑
==
m
p
ppp
x
y
p
x
y
pxp
X
Y
H
ош
ошошош
i
j
m
j
i
j
m
i
i
(4.6)
Из полученного выражения следует, что энтропия определяемая только
помехой не зависит от вероятности
(
)
i
xp появления символов на входе канала.
Если символы на входе канала выбираются независимо от предыдущих
символов с одинаковыми вероятностями, то энтропия выходных символов дос-
тигает своего максимального значения, равного:
(
)
mYH
2
log
=
.
Таким образом, количество информации, переданной по каналу, это раз-
ность между энтропией на выходе и энтропией шума:
()()
()
()()
1
log1log1log,
222
−
⋅+−⋅−+=−=
m
p
pppm
X
Y
HYHXYI
ош
ошошош
.
(4.7)
Количество информации, переданной по каналу связи, обладает следую-
щими основными свойствами:
1
x
2
x
1
y
2
y
⎟
⎠
⎞
⎜
⎝
⎛
1
1
x
y
p
⎟
⎠
⎞
⎜
⎝
⎛
1
2
x
y
p
⎟
⎠
⎞
⎜
⎝
⎛
2
1
x
y
p
⎟
⎠
⎞
⎜
⎝
⎛
2
2
x
y
p
Страницы
- « первая
- ‹ предыдущая
- …
- 149
- 150
- 151
- 152
- 153
- …
- следующая ›
- последняя »
