Теория систем и системный анализ. Чернышов В.Н - 34 стр.

UptoLike

ВУЗ: 

ТГТУ | Тамбов

Составители: 

Рубрика: 

щий указанными свойствами функционал, то условия 2 и 4 позволяют найти этот функционал, причём единственным обра-
зом.
Этот аппарат описывает дискретные события, связанные с описанием прерывных процессов, но на практике очень часто
приходится сталкиваться с описанием неопределённости непрерывных случайных процессов и возникает ряд сложностей.
Однако не вдаваясь в подробности, а произведя вот такую замену
( ) ( )
∫
∑
→
=
x
n
k
kk
dxxpxppp
loglog
1
(сделаем замену ряда),
то функционал (1) можно записать следующим образом
( ) ( ) ( )
∫
−=
x
dxxpxpXh
log
, (3.9)
(
)
xp
– плотность вероятности наступления события, выраженное энтропией, называется дифференциал.
3.3.4. КОЛИЧЕСТВО ИНФОРМАЦИИ
Процесс получения любой информации можно интерпретировать как изменение неопределённости в результате пере-
дачи сигналов. При этом полезный или отправляемый сигнал является последовательностью независимых символов с веро-
ятностью
(
)
i
xp
, принимаемый сигнал является также набором символов
k
y
того же кодирования (алфавита), и если у нас
отсутствует шум, воздействующий на эту передачу, то принимаемые и отправляемые сигналы
mk
XY
=
, но поскольку при
любой передаче у нас есть помехи, т.е. идёт искажение сигнала, то на приёмной, так и на передающей сторонах системы у
нас появится неопределённость. На передающей стороне
(
)
XH
– априорная энтропия, а на приёмной стороне
(
)
YXH
–
апостприорная.
Чтобы оценить количество информации, которое было передано от одного объекта к другому, берётся разность априор-
ной и апостприорной информации. И количество информации в этом случае – разница между энтропиями
(
)
(
)
(
)
YXHXHYXI
−=,
. (3.10)
Свойства количества информации:
1) Количество информации в случайном объекте
Х
относительно объекта
Y
равно количеству информации в
Y
относи-
тельно
Х
(
)
(
)
XYIYXI
,, =
.
2) Количество информации всегда неотрицательно
(
)
(
)
0,, ≥=
XYIYXI
.
3) Для дискретных объектов
Х
справедливо равенство
(
)
(
)
XXIXXI
,,
=
.
Таким образом
,
количество информации требует единицы измерения
,
за единицу энтропии принимают неопределён-
ность случайного объекта
,
у которого энтропия его равна 1
( )
1log
1
=−=
∑
=
k
i
kk
ppXH
.
Для конкретизации берётся
2=
k
и основание
log
2
=
m
, тогда получается тождество
1loglog
222121
=−−
pppp
.
Решением этого тождества является частный случай
2
1
21
==
pp
.
За единицу информации принята величина, называемая битом («БИТ»). Если мы берём за основание
log
е
(
ln
) (нату-
ральный
log
), то единица информации – «НИТ».

Страницы