Информатика и информационные системы в экономике. Ч.1. Ракитина Е.А - 14 стр.

UptoLike

ВУЗ: 

ТГТУ | Тамбов

Составители: 

Рубрика: 

Далее поступаем согласно К. Шеннону. Берем двоичный логарифм от величины 0,2 и называем то,
что получилось, количеством информации, которую переносит одна единственная буква "а" в рассмат-
риваемом тексте. Точно такую же операцию проделаем для каждой буквы. Тогда количество собствен-
ной информации, переносимой одной буквой равно
h
i
= log
2
(1/p
i
) = – log
2
p
i
,
где p
i –
вероятность появления в сообщении i-го символа алфавита.
Удобнее в качестве меры количества информации пользоваться не значением h
i ,
а средним значени-
ем количества информации, приходящейся на один символ алфавита
H =
p
i
h
i
= –

p
i
log
2
p
i
Значение Н достигает максимума при равновероятных событиях, т.е. при равенстве всех p
i
p
i
= 1 / N.
В этом случае формула Шеннона превращается в формулу Хартли.
Интересный факт.
На памятнике немецкому ученому Л. Больцману высечена формула, выведенная в 1877 г. и связы-
вающая вероятность состояния физической системы и величину энтропии этой системы. Энтропия
(греч. en – в, внутрь; trope – превращение, буквально смысловой перевод: то, что внутри, неопределен-
но) – физическая величина, характеризующая тепловое состояние тела или системы, мера внутренней
неупорядоченности системы. Так вот, формула для энтропии Больцмана совпадает с формулой, пред-
ложенной Шенноном для среднего количества информации, приходящейся на один символ в сообще-
нии. Совпадение это произвело столь сильное впечатление, что Шеннон назвал количество информации
негэнтропией. С тех пор слово "энтропия" стало чуть ли не антонимом слова "информация".
Чем больше энтропия системы, тем больше степень ее неопределенности. Поступающее сообщение
полностью или частично снимает эту неопределенность. Следовательно, количество информации мож-
но измерять тем, насколько понизилась энтропия системы после поступления сообщения. Таким обра-
зом, за меру количества информации принимается та же энтропия, но с обратным знаком. Уменьшая
неопределенность, мы получаем информацию, в этом весь смысл научного познания.
Тема 2 ОБЩАЯ ХАРАКТЕРИСТИКА
ИНФОРМАЦИОННЫХ ПРОЦЕССОВ
Данная тема включает в себя следующие разделы:
1 Общая характеристика информационных процессов
2 Кодирование информации
3 Сбор информации
4 Хранение информации
5 Передача информации
6 Обработка информации
7 Защита информации
1 ОБЩАЯ ХАРАКТЕРИСТИКА ИНФОРМАЦИОННЫХ ПРОЦЕССОВ
Информация не существует сама по себе, она проявляется в информационных процессах, а информа-
ционные процессы всегда протекают в каких-либо системах.
Информационный процесс (ИП) определяется как совокупность последовательных действий (опе-
раций), производимых над информацией (в виде данных, сведений, фактов, идей, гипотез, теорий и пр.),
для получения какого-либо результата (достижения цели).
Информационные процессы могут быть целенаправленными или стихийными, организованными
или хаотичными, детерминированными или вероятностными, но какую бы мы не рассматривали систе-
му, в ней всегда присутствуют информационные процессы, и какой бы информационный процесс мы не
рассматривали, он всегда реализуется в рамках какой-либо системы – биологической, социальной, тех-
нической, социотехнической. В зависимости от того, какого рода информация является предметом ин-
формационного процесса и кто является его субъектом (техническое устройство, человек, коллектив,
общество в целом), можно говорить о глобальных информационных процессах, или макропроцесссах и

Страницы