Теория передачи сигналов на железнодорожном транспорте. Женко Л.А. - 70 стр.

UptoLike

ВУЗ: 

СамГУПС | Самара

Составители: 

Рубрика: 

70
т.к. ,1)( =
∫
∞
∞−
dxxf .log)(
x
x
h
Hx
Δ
−
=
Второй член выражения при
0→
Δ
x стремится к бесконечности, сле-
довательно, энтропия непрерывного источника должна быть равна беско-
нечности. Однако в реальных условиях отсчет сообщения на приемной
стороне производится с конечной точностью, т.е. интервалы
xΔ
имеют
конечную величину. Поэтому выражение, определяющее энтропию непре-
рывного источника, имеет две составляющие, одна из которых определяет-
ся законом распределения сообщений, а вторая является постоянной вели-
чиной (в том числе и равной бесконечности) и обычно исключается из рас-
смотрения. Первое слагаемое называется
дифференциальной энтропией
)(xh и характеризует среднее количество информации, приходящееся на
единицу измерения сигнала непрерывного источника.
∫
−=
∞
∞−
dxxfxfxh )(log)()( . (3.3)
Дифференциальная энтропия зависит от закона распределения сигна-
ла. Для равномерного закона
)log()( abxh
−
=
, где b - максимальное (верх-
нее) значение сигнала,
a - минимальное (нижнее) значение. Для нормаль-
ного (гауссовского) распределения
2
2log)(
σπ
l=xh .
Доказано, что при заданной средней мощности (дисперсии
2
σ
=
D )
максимальной дифференциальной энтропией обладает нормальный про-
цесс. Если задана пиковая мощность, максимальной энтропией обладает
процесс с равномерным распределением.
Дифференциальная энтропия зависит от выбора единиц измерения,
например, если источник вырабатывает сигнал равномерно распределен-
ный в диапазоне 0…8 В, то его дифференциальная энтропия равна 3 би-
та/В, если этот же сигнал измерять в
милливольтах, то тВбитxh /13)( ≈ .
Дифференциальная энтропия может быть и отрицательной, если диа-
пазон изменения сигнала меньше единицы измерения, например, 0…0,5 В,
Вбитxh /1)( −= , так как логарифм дроби – отрицательная величина. Дан-
ный пример показывает, что в рассмотренном случае мы недостаточно
«бережно» относимся к источнику информации и к выбору единиц изме-
рения. Каждый отсчет как бы увеличивает неопределенность источника,
наши сведения о нем уменьшаются.
3.3. Энтропия источника зависимых сообщений
Выше было определено, что энтропия источника максимальна при
равновероятности сообщений и при их независимости. Реальные источни-
ки вырабатывают неравновероятные сообщения, причем они взаимосвяза-
ны. Мерой количественной оценки того, насколько данный источник отли-
чается от такого же источника, но обладающего максимальной энтропией,

Страницы