ВУЗ:
Составители:
1 Гб = 2
10
Мб = 2
20
Кб = 2
30
байт = 1 073 741 824 байт.
III ПОДХОД – в е р о я т н о с т н ы й . Измерение информации в теории информации, когда ин-
формация определяется как снятая неопределенность.
Получение информации (ее увеличение) одновременно означает увеличение знания, что, в
свою очередь, означает уменьшение незнания или информационной неопределенности. Говорят,
что сообщение, которое уменьшает неопределенность, существовавшую до его получения, ровно в
2 раза, несет 1 бит информации. По сути, 1 бит информации соответствует выбору одного из двух
равновероятных сообщений.
ПРИМЕРЫ.
Книга лежит на одной из двух полок – верхней или нижней. Сообщение о том, что книга ле-
жит на верхней полке, уменьшает неопределенность ровно вдвое и несет 1 бит информации.
Сообщение о том, как упала монета после броска – "орлом" или "решкой", несет один бит
информации.
В соревновании участвуют 4 команды. Сообщение о том, что третья команда набрала боль-
шее количество очков, уменьшает первоначальную неопределенность ровно в четыре раза (дваж-
ды по два) и несет два бита информации.
Очень приближенно можно считать, что количество информации в сообщении о каком-то со-
бытии совпадает с количеством вопросов, которые необходимо задать и ответом на которые мо-
гут быть лишь "да" или "нет", чтобы получить ту же информацию. Причем событие, о котором
идет речь, должно иметь равновероятные исходы. Именно поэтому, если число равновероятных
исходов события, о котором идет речь в сообщении, кратно степени числа 2 (4 = 2
2
, 8 = 2
3
, 32 = 2
5
),
то сообщение несет целое количество бит информации. Но в реальной практике могут встречать-
ся самые разные ситуации. Например, сообщение о том, что на светофоре красный сигнал, несет в
себе информации больше, чем бит.
С точки зрения на информацию как на снятую неопределенность количество информации зави-
сит от вероятности получения данного сообщения. Причем, чем больше вероятность события, тем
меньше количество информации в сообщении о таком событии. Иными словами, количество ин-
формации в сообщении о каком-то событии зависит от вероятности свершения данного события.
Научный подход к оценке сообщений был предложен еще в 1928 г.
Р. Хартли. Расчетная формула имеет вид:
I = log
2
N или 2
I
= N,
где N – количество равновероятных событий (число возможных выборов); I – количество инфор-
мации.
Если N = 2 (выбор из двух возможностей), то I = 1 бит.
Бит выбран в качестве единицы количества информации потому, что принято считать, что
двумя двоичными словами исходной длины k или словом длины 2k можно передать в 2 раза
больше информации, чем одним исходным словом. Число возможных равновероятных выборов
при этом увеличивается в 2
k
раз, тогда как I удваивается.
Иногда формула Хартли записывается иначе. Так как наступление каждого из N возможных
событий имеет одинаковую вероятность
p = 1 / N, то N = 1 / p
и формула имеет вид
I = log
2
(1/p) = – log
2
p.
Познакомимся с более общим случаем вычисления количества информации в сообщении об
одном из N, но уже неравновероятных событий. Этот подход был предложен К. Шенноном в 1948
г.
Пусть имеется текст, содержащий тысячу букв. Буква "о" в тексте встречается примерно 90 раз, бу-
ква "р" ~ 40 раз, буква "ф" ~ 2 раза, буква "а" ~ 200 раз. Поделив 200 на 1000, мы получим величину 0.2,
которая представляет собой среднюю частоту, с которой в рассматриваемом тексте встречается буква
"а". Вероятность появления буквы "а" в тексте (p
a
) можем считать приблизительно равной 0,2. Анало-
гично, p
р
= 0,04, p
ф
= 0,002, р
о
= 0,09.
Страницы
- « первая
- ‹ предыдущая
- …
- 11
- 12
- 13
- 14
- 15
- …
- следующая ›
- последняя »
