Страница 9 из 11
I =
n
∑
i=1
Pi log Pi
Когда вероятность движения электронов от минуса к плюсу была наибольшей, неопределенность была мала. Но вот электрическая энергия превратилась в тепловую, возникло иное движение, в котором одинаково вероятны все направления: ведь тепловое движение - это хаотическое движение мельчайших частиц. Значит, увеличилась неопределенность, и энтропия возросла, так же как в случае одинаковой вероятности появления черных и белых шаров. Где-то здесь и скрывается истина. Но, к сожалению... Я не могу ответить более четко на этот вопрос.
Учений умолк. Казалось, он забыл о нашем присутствии. Его задумчивый взгляд устремлен куда-то в пространство. Быть может, там, далеко за пределами Нового Города, ему чудятся еще неизведанные просторы загадочной Ничейной земли.
Психология и вероятность
Мы горячо поблагодарили ученого за помощь.
- Куда бы вы порекомендовали нам последовать дальше? - спросил я его на прощанье.
- Вы, очевидно, сами сможете наметить дальнейший маршрут, если воспользуетесь путеводителем по Новому Городу. Такой путеводитель можно приобрести в любом книжном киоске. А если понадобится моя помощь, вы всегда найдете меня в этом здании, в лаборатории математических методов психологии. Желаю успехов!
Ученый пересек площадь и скрылся в одном из подъездов, а мы, воспользовавшись его советом, отправились искать ближайший киоск.
Пять минут спустя я уже держал в руках справочник-путеводитель, очень похожий на те, что издаются во всех больших городах. Естественно, что в путеводителе по Новому Городу самое почетное место занимает Шеннон - на первой странице дан крупным планом его портрет. Я увидел скромного, можно сказать, неприметного человека со спокойным задумчивым взглядом и худощавым лицом. Встретив его на улице, я никогда не подумал бы, что это крупный ученый, имя которого известно теперь всему миру.
Рядом с портретом Шеннона помещен второй такой же портрет. Под ним короткая справка: «Хартли, инженер связи. В 1928 году предложил формулу для измерения информации».
Тут же приведена эта формула:
I = log N.
Больше никаких сведений нет.
Как же так? Значит, вовсе не Шеннон впервые подумал о том, что информацию можно измерить? Тогда почему жители Нового Города считают основоположником Шеннона, а не Хартли?
Просмотрев весь справочник, я не нашел в нем никаких разъяснений. А вопрос этот не давал мне покоя.
Я вспомнил о любезном приглашении ученого. Удобно ли обратиться к нему с этим новым вопросом?
А что, если кто-нибудь из участников экспедиции задаст мне тот же вопрос? После некоторых колебаний я решил отложить посещение лаборатории до следующего дня.
Наутро я разыскал лабораторию математических методов психологии, где застал моего знакомого в окружении приборов и схем. Он встретил меня приветливо и поинтересовался, что меня к нему привело.
Я задал вопрос о Хартли и Шенноне. Несколько мгновений он сосредоточенно смотрел на меня, очевидно собираясь с мыслями. Затем тепло улыбнулся и произнес:
- Я боюсь, что мое мнение покажется вам предвзятым. Но я твердо убежден в том, что все дело в психологии. Хартли пренебрег психологией, когда предлагал свою формулу, а Шеннон ее учел.
- Я не понимаю, чью психологию вы имеете в виду?
- Мою, вашу, вон того прохожего - чью угодно. В том-то и сила формулы Шеннона, что она позволяет учесть воздействие информации на всякого человека, независимо от его индивидуальных свойств. Она позволяет установить объективные закономерности психологических реакций. Я, очевидно, выражаю свою мысль слишком туманно? Я сам работаю сейчас именно в этой области, и потому мне все это кажется настолько очевидным, что даже не знаю, как вам объяснить. Во всяком случае, информация связана с психологией настолько тесно, что волей-неволей инженерам пришлось учитывать психологию.
Давайте рассмотрим формулу Хартли:
I = log N.
N - это число возможных событий. Если в алфавите есть 32 буквы, значит согласно формуле Хартли каждая буква даст информацию I = log 32. Но тут есть одна тонкость. Ведь буквы в алфавите разные, и одни попадаются чаще, другие реже. Чем реже попадается буква, тем неожиданней будет она для того, кто ее прочел. Хартли понял, что дело должно обстоять именно так. Но он решил, что математик или конструктор не должны учитывать неожиданность. И поэтому, излагая свой метод оценки количества информации, он прямо сказал, что вопрос неожиданности получаемых сообщений относится к области психологии и не должен интересовать инженера. Зато формула Шеннона позволяет учесть любую неожиданность. В ней учтены вероятности всех сообщений:
I = ∑Pilog Pi.
Чтобы найти среднее количество информации, приходящейся на каждую букву, надо подставить в формулу вероятность появления всех букв:
I = PАlog PА + PБlog PБ + PВlog PВ + ... + PЯlog PЯ.
Если бы все 32 буквы имели равную вероятность, мы получили бы:
I =
(
1
32
·log
1
32
)
·32 = - log 32.
Как видите, в этом случае формула Шеннона совпадает с формулой Хартли. Значит, формула Хартли справедлива лишь в тех исключительных случаях, когда все сообщения имеют равную вероятность. А в общем случае надо пользоваться формулой Шеннона. И она позволит учесть тот самый психологический фактор, который отбросил Хартли.
Ведь по ней как раз и получается: чем больше неожиданность, тем больше бит. Например, когда мы извлекаем черный шар из ящика, в котором 99 черных й 1 белый, неожиданность невелика, и бит мы получаем немного.
Ну, кажется, я окончательно сбил вас с толку, - улыбнулся ученый и взглянул на часы. - Впрочем, если у вас будет желание разобраться в этом как следует, вам придется задержаться здесь еще на часок. Сейчас я вас должен покинуть, а через 20 минут буду демонстрировать здесь опыты группе экскурсантов. Если хотите, можете принять в них участие.
- С удовольствием! - с готовностью отозвался я.
Двадцать минут я провел в размышлениях, вспоминая о том, что услышал. Шуточное ли дело - математика в психологии! Я попробовал представить себе, как должна выглядеть психология, занявшая прочное место в ряду точных наук. Вы решаете уравнение и узнаете, как в заданных обстоятельствах будет вести себя живой человек... Какая-то мистика! Разве человек не волен поступать, как ему нравится? Кто заставит его подчиняться каким-то формулам?
Нет, тут, очевидно, не следует все принимать на веру. Между математикой и психологией все же должна существовать какая-то грань. Я вдруг представил себе школьный учебник, в котором рядом с обычными задачами по алгебре есть, например, и такие:
«Из А в В идет пешеход со скоростью 4 километра в час. Навстречу ему идет другой со скоростью 6 километров в час. Сколько времени пройдет до момента встречи, если расстояние 25 километров, второй вышел на два часа позже первого, а еще через час неожиданно пошел сильный дождь?»
Интересно, как стал бы решать такую задачку мой новый знакомый? Каким образом он учел бы в своих уравнениях неожиданный дождь?
Разве можно предвидеть, как будут вести себя пешеходы: спрячутся под ближайшее дерево или предпочтут поскорей добежать до намеченного пункта? Сплошная неопределенность. Однако формула Шеннона и в самом деле позволяет учесть неожиданность и оценить неопределенность событий. Правда, она даст ответ в среднем. Может быть, условие этой задачи надо сформулировать так: 100 пешеходов идут из Л в В, и по дороге начался дождь. По всей видимости, некоторые пешеходы спрячутся под укрытия, а часть из них побежит что есть силы. Если учесть вероятность обоих случаев, можно подсчитать среднюю скорость.