Лекции по теории информации. Фурсов В.А. - 55 стр.

UptoLike

ВУЗ: 

СГАУ | Самара

Составители: 

Рубрика: 

55
6.4 Свойства среднего количества информации
в элементе сообщения
1. Неотрицательность.
, 0
I Z V
, так как всегда
V
H Z H Z
.
2.
I Z V
при отсутствии статистической связи между
Z
и
V
, так как
при этом
V
H Z H Z
.
3.
, ,
I Z V I V Z
, то есть количество информации в
V
относительно
Z
равно количеству информации в
Z
относительно
V
. Действительно
( , ) ( , ) ( ) ( ) ( ( ) ( ))
( ) ( ) ( ( ) ( )) ( , ) ( , ) 0
V Z
Z V
I Z V I V Z H Z H Z H V H V
H Z H V H V H Z H Z V H V Z
4. При отсутствии помех
,
I Z V H Z
, поскольку при этом
0
V
H Z
.
Это максимальное количество информации, которое может быть получено от
источника.
6.5 Количество информации при передаче сообщений
от непрерывного источника
Соотношение для количества ин-
формации непрерывного источника по-
лучим из формулы (6.6) для дискретно-
го случая. Обозначив переданный и
принятый непрерывные сигналы соот-
ветственно
Z
и
V
разобьем область
допустимых значений этих сигналов на
равные интервалы и запишем прибли-
женные вероятности (см. рисунок 6.1):
* *
P , ,
i i j j i j
z Z z z v V v v p z v z v
,
где
* *
,
i j
p z v
– ордината двумерной плотности распределения
,
p z v
в некото-
рой точке, принадлежащей прямоугольнику с номером
,
i j
.
Рис. 6.1 – Дискретизация
области
,
Z V

Страницы