Количество информации. Основы логики. Пчелинцева Н.В. - 4 стр.

              Когда общее число событий равно небольшим степеням двойки, то
         значение количества информации можно найти подбором.
              Отметим, что данную формулу можно применять, только если со-
         бытия равновероятные.
              Если же события наступают с разной вероятностью, то надо вклю-
         чить значение вероятности в формулу. Для этого суммируются вероят-
         ности каждого события, умноженные на двоичный логарифм этой веро-
         ятности.
                                  Формула Шеннона



                где
                I — количество информации,
                N — количество возможных событий,
                pi — вероятность отдельного события.

                                    Алфавитный подход
                При этом подходе количество информации не зависит от содержа-
         ния. Оно зависит от объема текста и от мощности алфавита (полного чис-
         ла символов алфавита). Чем больше мощность алфавита, тем большее ко-
         личество информации несет один знак.
                Количество информации I, содержащейся в сообщении, равно К х i.
         К — число символов в тексте сообщения, i — информационный вес сим-
         вола. Значение i находится из уравнения 2i = N, где N — мощность ис-
         пользуемого алфавита, т. е. i = log2N и I= Кхlog2N.
                Можно посчитать информационный вес одной буквы русского ал-
         фавита. Для простоты расчетов исключим из него букву «ё» и не будем
         различать строчные и прописные буквы. Тогда мощность алфавита равна
         32, а информационный вес одной буквы равен log2 32. Отсюда i = 5.

                             ЕДИНИЦЫ ИЗМЕРЕНИЯ ИНФОРМАЦИИ
               За единицу количества информации принимается такое количество
         информации, которое содержит сообщение, уменьшающее неопределен-
         ность знаний в два раза. Такая единица названа «бит» (англ. bit, сокраще-
         ние от binary digit — двоичный разряд). Сообщение о том, что произошло
         одно из двух равновероятных событий, несет один бит информации.
               Следующей по величине единицей измерения количества информа-
         ции, является байт: 1 байт = 23 бит = 8 бит. Один символ алфавита из 256
         символов содержит 8 бит информации (256 = 28).
               Каждая следующая единица измерения количества информации
         больше предыдущей в 1024 (210) раза:
               1 Кбайт = 210 байт = 1024 байт;

         4


PDF created with FinePrint pdfFactory Pro trial version www.pdffactory.com