Теория передачи сигналов. Женко Л.А. - 9 стр.

UptoLike

ВУЗ: 

СамГУПС | Самара

Составители: 

Рубрика: 

9
1. Какова вероятность двоичных символов, если скважность прямоугольных
импульсов равна 5,8,10?
2. Чему равен полный размах нормального случайного процесса?
3. Что называют ошибками первого и второго рода?
4. Изобразить на рисунке искажение символов, из-за которых канал «приобретает»
память.
5. Объясните, почему в канале со стиранием вероятность ошибки уменьшается.
Лабораторная работа № 9
ИССЛЕДОВАНИЕ
ВЕРОЯТНОСТНЫХ ХАРАКТЕРИСТИК
БИНАРНОГО ИСТОЧНИКА. ПОСТРОЕНИЕ ФУНКЦИИ ШЕННОНА ПО
ЭКСПЕРИМЕНТАЛЬНЫМ ДАННЫМ
Цель работы: ознакомление со статистической метрикой Шеннона на
примерах нормального процесса.
Краткие теоретические сведения
Пусть дискретный источник сообщений вырабатывает полный ансамбль
сообщений
1
1
=
∑
N
a
i
P , где
i
a
P - вероятность i -го сообщения. Этот источник может
быть охарактеризован средним количеством информации, приходящимся на одно
сообщение:
∑
=
−=
N
i
aaa
iii
PPH
1
log (3.1)
Эту величину
i
a
H Шеннон назвал энтропией источника. Понятие энтропии (от
греческого эн-тропе – обращение) существовало и до Шеннона и распространилось
на ряд областей знания. В термодинамике энтропия означает вероятность теплового
состояния вещества, в математике – степень неопределенности ситуации или задачи,
в информатике она характеризует способность источника отдавать информацию.
Количество информации, которое переносится одним сообщением
источника
ii
aa
PI log−= . Эта мера вытекает из меры Хартли:
N
NI
1
loglog −== и является ее
обобщением на случай неравновероятности сообщений. Видно, что чем меньше
вероятность сообщения, тем большее количество информации оно несет. Мера
Шеннона также аддитивна.
Энтропия источника дискретных сообщений обладает следующими
свойствами:
1. Энтропия положительна.
2. Энтропия детерминированных сообщений равна нулю. Если одно из
сообщений источника достоверно, т.е. его вероятность равна 1,
то вероятности

Страницы