Страница 6 из 11
Значит, с точки зрения наблюдателя, не все, содержащееся в сообщении, является информацией, а только то, что заранее ему неизвестно.
Узнаем ли мы что-либо новое из сообщения, что за июлем следует август? Об этом событии все известно заранее, в нем отсутствует неопределенность, и потому в этом случае количество информации, содержащейся в слове «август», равно нулю.
А какое количество информации получали мы, извлекая шары из урн? Чтобы выразить ее точными цифрами, надо оценить неопределенность каждого опыта. Для этого теория информации привлекает на помощь формулу энтропии, о которой я вам сейчас расскажу.
Смысл информации и информация без смысла
И впрямь удивительный это город! Даже в простых шарах заключен здесь особый, глубокий смысл. А тут еще какая-то энтропия... Впрочем, размышлять пока некогда - наш новый знакомый продолжает рассказ:
- В науке часто бывает так: стоит найти новый подход к привычным явлениям, и то, что казалось сложным и необъяснимым, не подчиняющимся никаким законам, вдруг становится простым и понятным. Порой даже кажется странным, почему люди не могли так долго уловить эту, ставшую теперь очевидной связь. Важно только четко сформулировать задачу, найти правильную точку зрения, и сразу разрозненные, бессвязные понятия и явления вдруг вливаются в единую, стройную систему, подобно тому как из разбросанных в коре земного шара вкраплений различных металлов возникают изящные стальные птицы, сверхдальние ракеты и сложные комплексы «умных» машин.
Так, рожденная великим Менделеевым периодическая система элементов не только внесла строгий порядок в исследования и оценки всех известных в то время веществ, но и предрекла открытие новых элементов и новых, неизведанных свойств. Закон всемирного тяготения сразу позволил уяснить механику всего мироздания и «увидеть» без телескопа движение неизвестных планет3. А закон сохранения энергии не только объяснил причину неудач многочисленных изобретателей «вечного двигателя», но и предрек неизбежною тщетность всех их попыток на все времена. И вот в наши дни появилась теория информации, и рожденные ею понятия заставили с новой точки зрения оценить окружающий мир.
Информация... Это все формы общения людей, начиная с обычной беседы и чтения книг и кончая всеми видами телеграфной и телефонной связи и передачи в эфир. Это все сведения о течении физических, химических, биологических процессов, полученные путем исследования, анализа и «регистрации всеми видами ныне существующих и будущих приборов. Это, наконец, неисчерпаемые процессы авторегулирования, происходящие и в созданных человеком машинах и в организмах, рожденных самой природой, процессы, в основе которых лежит получение информации и ее обработка. Мы посылаем в космос спутники и космонавтов. Мы создаем гигантские ускорители, в которых мельчайшие частицы материи могут «с разгона» проникать в недра других частиц. С помощью телескопов мы изучаем миры, недоступные глазу. Микроскопы, рентгеновские аппараты и химические реактивы помогают проникнуть внутрь живых организмов и изучить их структуру вплоть до мельчайшего «атома жизни» - микроскопической клетки. Разные области, разные методы, а цель одна - добыть информацию. И все эти разнородные и сложные процессы, созданные и возникающие в бесконечном многообразии явлений, пришедшие и приходящие из разных областей знаний, вдруг объединились, увязались и нашли новое толкование в едином понятии «информация». А все потому, что мы научились измерять количество информации с помощью простой формулы:
I = P1log P1 + P2log P2 + ... Pnlog Pn.
Здесь значки P1, P2 ... Pп означают вероятности рассматриваемых событий, а log P1 и т. д. - их логарифмы.
Так, например, в опыте с 6 черными и 4 белыми шарами P1 = 0,6 (60%), а P2 - 0,4 (40%). Значит, в этом случае количество информации будет равно:
I = 0,6·log 0,6 + 0,4·log 0,4.
Быть может, кто-нибудь из присутствующих давно не пользовался логарифмами? Не беда. Для этого существуют логарифмические таблицы. Зная число, по ним легко найти его логарифм. С помощью таблицы легко подсчитать, что:
I = 0,6·log 0,6 + 0,4·log 0,4 = 0,97.
(При расчете количества информации применяются двоичные логарифмы.)
А для случая с 1 белым и 9 черными шарами получим:
I = 0,1·log 0,1 + 0,9·log 0,9 = 0,47.
Таким образом, наши общие рассуждения о «неопределенности опыта» и о «мере неведенья» тех, кто проводит опыт, теперь выражаются точными числами. Но сами по себе числа мало о чем говорят.
Ведь нельзя сказать, что вес равен 10, - все дело в том, в каких выражается он единицах. Что это - 10 граммов или 10 тонн? Значит, для измерения информации тоже нужны какие-то единицы. Единицей времени служит время: час, минута, секунда. Единицей веса опять-таки служит вес. И все измерения производятся так же: давление сравнивается с давлением, температура - с температурой. Значит, и информацию нужно сравнивать с информацией.
За единицу количества информации принят самый простенький случай. Есть два возможных исхода - «или - или»; и каждый из них имеет одинаковую вероятность. Когда получено сообщение об исходе, одно «или» отпало и вы получили одну единицу количества информации - так называемый «бит». Например, в нашем ящике лежит 5 черных и 5 белых шаров. С равной вероятностью можно ожидать или черного, или белого шара. А по формуле Шеннона в этом случае получается:
I = 0,5·log20,5 + 0,5·log20,5 = - log22 = 1 бит.
Название «бит» происходит от сокращения английских слов, означающих в переводе «двоичная единица». Каждый знак двоичного кода тоже дает 1 бит информации, потому что с равной вероятностью может появиться 1 или 0.
Теперь мы имеем возможность оценить наши опыты в битах. Случай с четырьмя и шестью шарами имел большую неопределенность и давал информацию в количестве 0,97 бита. Опыт с девятью черными и одним белым шарами обладает меньшей неопределенностью - здесь каждое сообщение дает только 0,47 бита. А если в ящике находится 99 черных шаров и только один белый? Неопределенность почти исчезает: мы будем почти все время извлекать черный шар. И по формуле мы получим для данного случая информацию всего лишь 0,08 бита. Ну, а если нам вопреки ожиданиям попадется вдруг белый шар? Случай этот весьма непредвиденный, значит сообщение о таком результате должно дать большое количество информации. Так оно и окажется. Но при большом количестве опытов такое событие будет происходить очень редко, и в общей сумме полученной информации оно сыграет весьма малую роль. А формула Шеннона показывает, сколько информации дает в среднем каждое из сообщений. В большинстве случаев мы станем получать сообщения об извлечении черного шара. Очень редко будет попадаться и белый шар. А в среднем каждое сообщение оценивается в 0,08 бита.
А теперь взгляните на формулу, начертанную на самом верху колонны. Не кажется ли она вам знакомой? В самом деле, в ней есть те же символы Pi log Pi. Тот же значок вероятности. Тот же логарифм. А что означает i? i - это ряд целых чисел: 1, 2, 3 ... n. Вместо того чтобы много раз подряд писать похожие друг на друга строчки, математики придумали это простое обозначение: знаком ∑ они избавляют себя от труда много раз подряд повторять знак «+». Для полной ясности они пишут под этим знаком, что счет надо начинать с единицы (i=1; Pi=P1), а вверху напоминают, что кончать надо тогда, когда учтены все возможные случаи, то есть при Pi=Pn. Вот и получается знаменитая формула Шеннона, породившая Новый Город: