Оптические методы в информатике. Наний О.Е - 10 стр.

                                       10



   В технике часто используют более простой и грубый способ
измерения информации, который можно назвать объемным. Он
основан на подсчете числа символов в сообщении, т. е. связан с его
длиной и не учитывает содержания. Правда, длина сообщения зависит
от числа различных символов, употребляемых для записи сообщения,
т. е. от мощности алфавита. Например, одно и то же число "де-
вятнадцать" в десятичном алфавите записывается двумя символами -
19, а в двоичном алфавите -пятью символами - 10111. В
вычислительной технике применяются две стандартные единицы
измерения: бит и байт. Бит - это один символ двоичного алфавита.
Байт - это один символ, который можно представить
восьмиразрядным двоичным кодом; мощность алфавита этого
представления равна числу различных восьмиразрядных двоичных
кодов, т. е. 256, и может включать, например, все символы
клавиатуры пишущей машинки или компьютера.
    Эти два способа измерения информации, как правило, не
 совпадают, причем энтропийное количество информации не может
 быть больше числа двоичных символов (битов) в сообщении. Если
 же оно меньше этого числа, то говорят, что сообщение избыточно.
 Тривиальные сообщения всегда избыточны, так как имеют нулевую
 информацию с точки зрения энтропии, но содержат ненулевое число
 символов.
   Мы будем пользоваться технической мерой количества
информации как мерой «затрат», необходимых для классификации
знаков. В соответствии с этим количество информации в знаке
                 1 
    hi  log 2   ,                                    (1.1)
                 pi 
где pi - вероятность появления знака. Можно определить среднюю
информацию на знак в системе знаков:
                       1 
      H   pi log 2    log 2 n                              (1.2)
                       pi 
Неравенство(1.2) показывает, что наиболее рационально использовать
все знаки с равной вероятностью. Если количество знаков есть
степень 2, т.е. n  2 N и знаки равновероятны       ( pi  (1 / 2) N ) то
H  log 2 n  N .

Цифровые и аналоговые сигналы.
   В информатике и технике связи сигналом называется любой
процесс, несущий информацию. Он может иметь произвольную
физическую природу: механическую (движение, давление), тепловую,