Информатика 10-11. Книга 1. Теория (с задачами и решениями). Шауцукова Л.З. - 8 стр.

> 6,644. Таким образом, сообщение о верно угаданном числе содержит количество
информации, приблизительно равное 6,644 единицы информации.

    Приведем другие примеры равновероятных сообщений:

   1. при бросании монеты: "выпала решка", "выпал орел";
   2. на странице книги: "количество букв чётное", "количество букв нечётное".

    Определим теперь, являются ли равновероятными сообщения "первой выйдет из
дверей здания женщина" и "первым выйдет из дверей здания мужчина". Однозначно
ответить на этот вопрос нельзя. Все зависит от того, о каком именно здании идет речь.
Если это, например, станция метро, то вероятность выйти из дверей первым одинакова
для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность
значительно выше, чем для женщины.

    Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г.
другую формулу определения количества информации, учитывающую возможную
неодинаковую вероятность сообщений в наборе.


             Формула Шеннона: I = — ( p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN),
 где pi — вероятность того, что именно i-е сообщение выделено в наборе из N
 сообщений.


    Легко заметить, что если вероятности p1, ..., pN равны, то каждая из них равна 1 / N, и
формула Шеннона превращается в формулу Хартли.

    Помимо двух рассмотренных подходов к определению количества информации,
существуют и другие. Важно помнить, что любые теоретические результаты
применимы лишь к определённому кругу случаев, очерченному первоначальными
допущениями.




    В качестве единицы информации Клод Шеннон предложил принять один бит
(англ. bit — binary digit — двоичная цифра).


Бит в теории информации — количество информации, необходимое для различения двух
равновероятных сообщений (типа "орел"—"решка", "чет"—"нечет" и т.п.).

В вычислительной технике битом называют наименьшую "порцию" памяти компьютера,
необходимую для хранения одного из двух знаков "0" и "1", используемых для
внутримашинного представления данных и команд.


     Бит — слишком мелкая единица измерения. На практике чаще применяется более
крупная единица — байт, равная восьми битам. Именно восемь битов требуется для
того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера
(256=28).