Сборник примеров и задач по теории информации: Руководство для практических занятий на базе Mathcad 6.0 Plus. Кавчук С.В. - 26 стр.

UptoLike

ВУЗ: 

ТТИ ЮФУ | Таганрог

Составители: 

Рубрика: 

26
а) безусловные вероятности P(x
i
)=Px
i
сообщений x
1
и x
2
:
Px
1
3
4
; Px
2
1
4
.
б) условные вероятности P(y
j
/x
i
)=
Py
x
,ji
приема сообщений y
1
, y
2
при
условии передачи сообщений x
1
, x
2
:
Py
x
,11
7
8
; Py
x
,12
1
8
; Py
x
,21
1
8
; Py
x
,22
7
8
.
Вычислим вероятности P(y
j
)=Py
j
, P(x
i
, y
j
)=Pxy
i,j
и P(x
i
/y
j
)=
Px
y
,ij
при
i..12 и j..12, необходимые для расчета информационных характери-
стик:
Py
j
=1
2
i
.
Px
i
Py
x
,ji
;
=Py
1
0.688
;
=Py
2
0.313
ORIGIN 1
− задание начального значения индексов;
Pxy
,ij
.
Px
i
Py
x
,ji
; =Pxy
0.656
0.031
0.094
0.219
.
Итак,
=Pxy
,11
0.656
;
=Pxy
,21
0.031
;
=Pxy
,12
0.094
;
=Pxy
,22
0.219
.
Так как
Px
y
,ij
.
Px
i
Py
x
,ji
Py
j
или
Px
y
,ij
Pxy
,ij
Py
j
,
то имеем следующие условные вероятности
=Px
y
0.955
0.045
0.300
0.700
, т.е.
=Px
y
,11
0.955 ; =Px
y
,21
0.045 ; =Px
y
,12
0.3 ; =Px
y
,22
0.7
Определим единицы измерения количества информации:
а) при натуральном логарифме (нит) −
nit ln ( )e ;
б) при двоичном логарифме (бит) −
bit
.
nit ln ( )2 .
В случае дискретного источника полное количество информации на его
выходе в расчете на одно сообщение, согласно (2.2), совпадает с энтропией
источника (1.1) и будет
.
.

Страницы