Страница 20 из 71
Таким образом, можно сказать, что количество информации, переданной в сообщении, является двоичным логарифмом определенного числа альтернатив, позволяющих недвусмысленно определить это сообщение2.
Для того, чтобы измерить уменьшение или увеличение количества информации, специалисты обращаются к понятию, заимствованному из термодинамики и теперь уже вполне обоснованно вошедшему в терминологический багаж теории информации. Речь идет о понятии энтропии. Это понятие достаточно широко известно, потому что все о нем слышали, но в силу этого оно достаточно размыто, так как каждый понимает его по — своему и использует весьма свободно; поэтому будет неплохо, если мы вкратце его рассмотрим, ибо его происхождение из термодинамики оставило наслоения, не всегда обоснованные.
Согласно второму началу термодинамики, изложенному Р. Клаузиусом, если определенное количество работы может полностью трансформироваться в теплоту (о чем говорит первое начало термодинамики), то каждый раз, когда теплота трансформируется в работу, это происходит не столь полно и завершенно, как в первом случае. Для того, чтобы совершился переход определенного количества теплоты в работу, двигатель должен обеспечивать обмен теплотой между двумя телами различной температуры: источником теплоты и охладителем. Двигатель поглощает определенное количество теплоты от ее источника, но не всю ее преобразует в работу, потому что часть отдает охладителю. Таким образом, часть теплоты Q1 преобразуется в работу, кроме того имеется теплота Q — Q1, которая передается охладителю.
Таким образом, если после преобразования работы в теплоту (первый закон термодинамики) я преобразую эту теплоту в работу, мне не удается вернуться к исходному количеству этой работы. Наблюдается уменьшение или, как обычно говорят, «расход» энергии, которую уже не удастся восстановить. Энергия «расходуется». Таким образом, некоторые природные процессы не являются полностью обратимыми: «эти процессы однонаправленны, и с каждым из них мир делает шаг, след которого никоим образом нельзя стереть»3. Если мы хотим найти общую меру этой необратимости, надо предположить, что природа, так сказать, отдает предпочтение одним состояниям перед другими (то есть тем, к которым устремляются необратимые процессы) и кроме того, нам придется отыскать физическую величину, которая количественно измеряет предпочтение, отдаваемое природой определенному состоянию. Такая величина имела бы свойство расти во всех необратимых процессах. Это и есть энтропия.
Таким образом, второе начало термодинамики, утверждая «расход» энергии, стало законом энтропии, причем настолько, что обычно идею энтропии связывают с идеей этого «расхода» и тем выводом, согласно которому, наблюдая за развитием любого естественного процесса в направлении увеличивающегося расхода и поступательного уменьшения энергии, можно якобы говорить о «тепловой смерти» вселенной. Однако надо раз и навсегда отметить, что если понятие энтропии и используется в термодинамике для того, чтобы определить расход энергии (и, следовательно, здесь неизбежно начинают звучать пессимистические нотки, коль скоро нам позволено облекать в чувства научные размышления), в действительности представляет собой статистическую величину и потому является математически нейтральным инструментом. Иными словами, энтропия представляет собой измерение состояния наибольшей равновероятности, к которому стремятся естественные процессы. В этом смысле и принято говорить, что природа имеет предпочтения: она предпочитает более единообразное состояние менее единообразному, и теплота переходит от более нагретого тела к менее нагретому потому, что состояние равномерного распределения температуры более вероятно, чем состояние неравномерного распределения. Иными словами, взаимонаправленная скорость молекул в большей степени тяготеет к состоянию единообразия, а не к состоянию различия, в котором, при их различной скорости, совершаются различные тепловые реакции. Исследования, проведенные Больцманом в области кинетики газов, показали, что природа прежде всего тяготеет к элементарной неупорядоченности, мерой которой является энтропия4.
Тем не менее необходимо еще раз подчеркнуть, что понятие энтропии является чисто статистическим, так же, как, в конечном счете, чисто статистическим является тот же принцип необратимости: как уже показал Больцман, в замкнутой системе обратимость не невозможна, а только невероятна. Столкновение молекул газа происходит согласно статистическим законам, которые сводят различие скоростей к среднему равенству. Когда более быстрая молекула сталкивается с более медленной, может случиться так, что последняя передаст часть своей скорости первой молекуле, но статистически более вероятно, что произойдет обратное, то есть быстрая молекула замедлит свой бег и сообразует свою скорость со скоростью более медленной молекулы, порождая состояние большего единообразия и, следовательно, способствуя росту элементарной неупорядоченности. «Таким образом, закон увеличения энтропии обусловлен законом больших чисел, известным любому виду статистики, однако он не относится к строгим физическим законам, которые, как, например, законы механики, не допускают исключений»5. То, каким образом от теории «расхода» энергии можно перейти к использованию понятия энтропии в теории информации, нам довольно ясно показывают рассуждения Ганса Рейхенбаха. Общая тенденция к возрастанию энтропии, свойственная физическим процессам, не препятствует тому, чтобы (как мы это ощущаем каждый день) происходили такие физические процессы, в которых совершается определенная организация, то есть упорядочение событий в соответствии с определенной невероятностью (все органические процессы таковы) и, следовательно, в соответствии с уменьшением энтропии. По отношению к общей графической кривой роста энтропии эти моменты ее уменьшения Рейхенбах называет branch systems (боковыми системами) (как отклонения, ответвления от этой кривой), в которых взаимодействие некоторых событий приводит к упорядочению соответствующих элементов. Приведем пример. Ветры, дующие на пляже, порождают в тысячах песчинок общую тенденцию к беспорядку и, следовательно, к единообразию их расположения, но вот неожиданно по пляжу проходит человек, и взаимодействие его ног с поверхностью песка представляет собой взаимодействие событий, приводящих к появлению определенной конфигурации (статистически совершенно невероятной) следа от его ноги. Эта конфигурация, являющаяся формой, фактом определенной организации, очевидно, будет стремиться к исчезновению под воздействием ветров, иными словами, если она и представляла собой ответвление от общей кривой энтропии (там, где сама энтропия уменьшалась, уступая место невероятному порядку), сама боковая система, тем не менее, будет стремиться к тому, чтобы снова слиться с общей кривой увеличивающейся энтропии. В то же время в этой системе, как раз благодаря уменьшению элементарной неупорядоченности и осуществлению порядка, сложились причинно — следственные отношения: причина представляла собой совокупность фактов взаимодействия с песчинками пляжа (читай «человеческая нога»), а следствие — возникшую затем их организацию («след»).
Существование причинно — следственных отношений в системах, организованных при уменьшении энтропии, приводит к возникновению «воспоминания»; с физической точки зрения воспоминание представляет собой запись, «упорядочение, структура которого остается неизменной, так сказать, замороженной»6. Это помогает нам установить цепь причин, чтобы воссоздать событие, однако поскольку второе начало термодинамики ведет к признанию и утверждению существования воспоминаний о прошлом, постольку воспоминание представляет собой не что иное, как накопление информации, из этого рождается тесная связь между энтропией и информацией1.