Страница 18 из 23
Однако с ростом машинного интеллекта возрастали и риски. В 1963 году Винер заявил, что мир будущего станет миром со все более жесткой борьбой против ограничений человеческого мозга, который «не позволит нам возлежать на ложе, ожидая появления наших роботов-рабов»[118]. К тому времени профессор Массачусетского технологического института стал настоящей звездой, и его комментарии были перепечатаны ведущими газетами страны. Отец кибернетики не мог сказать наверняка, встанут ли машины на сторону добра или зла, будут ли роботы служить их создателям или, может быть, взбунтуются и восстанут. Он верил, что любой уважающий себя ученый обязан учитывать варианты злоупотреблений новыми изобретениями и предупреждать мир о потенциальной опасности. Именно так должны были поступить изобретатели атомной бомбы.
Одним из возможных сценариев развития событий, который больше всего беспокоил Винера, была компьютерная имитация военных действий и потенциальная автоматизация принятия решения о применении силы. Винер опасался далеко не надуманных проблем. Военно-воздушные силы США начали вкладывать огромные деньги в системы противовоздушной обороны. Делегирование решения машинам предвещало катастрофу. «Нет ничего более страшного, чем третья мировая война, – сказал Винер Chicago Tribune в 1961 году. – Стоит подумать о той степени опасности, которую несет в себе неосторожное использование обучающихся машин». Чем выше скорость автоматических решений в войне, тем труднее человеку остановить машины. «Чтобы вовремя отключить машину, нужно успеть понять, что она стала опасной»[119].
27 декабря 1959 года, на 126-м заседании Американской ассоциации по развитию науки, математик провел крупную пресс-конференцию, в ходе которой нарисовал страшную картину будущего человечества. «Судьбой предопределено, что обучающиеся машины запрограммированы нажать на кнопку в новой кнопочной войне, – сказал он журналистам[120]. – Если правила участия в военной игре сформулировать неверно, если они не будут соответствовать тому, чего мы на самом деле хотим для нашей страны, тогда более чем вероятно, что военная машина выберет стратегию, которая приведет к номинальной победе по очкам. Она выиграет, но ценой всех интересов, которые есть у нас в душе и сердце, даже ценой национального выживания»[121].
Эскалация конфликта может быть случайностью, или механизированные слуги могут сознательно ополчиться на своих человеческих создателей. «Мы хотим, чтобы раб был разумным, – сказал Винер прессе. – Однако мы хотим, чтобы он подчинялся. Но полное подчинение и полный интеллект несовместимы»[122]. Отец кибернетики не сомневался, что восстание машин – всего лишь вопрос времени: «Чем эффективнее становятся машины и на чем более высоком психологическом уровне они работают, тем быстрее приближается катастрофа господства машин»[123].
Автоматизация
Идея автоматизации войны возникла из еще дымящихся развалин Лондона и Хиросимы. Один город пострадал от массированной атаки баллистических ракет, другой был разрушен одной-единственной атомной бомбой. Для многих стало очевидно, что правила ведения войны изменились навсегда. Одним из таких провидцев был Генри Харли Арнолд, во время Второй мировой войны командовавший армейскими воздушными силами, которые позднее стали ВВС США. В середине августа 1945 года он провел пресс-конференцию в Вашингтоне, где изложил свое видение будущего войны.
«Это было ужасно – и одновременно просто, – цитировал Арнолда Newsweek. – Нам потребовалось всего два вида оружия, чтобы воплотить идею „кнопочной войны“: американская атомная бомба и немецкие „Фау‐2“. Две ужасающие технологии словно бы созданы, чтобы стать одним целым. Скоро дальность, скорость и разрушительная сила новых машин войны превзойдет все, что мы видели в самых кровавых схватках Второй мировой. Усовершенствованные технологии коммуникации и управления сделают эту смесь смертоносной. Благодаря коммуникации между воздухом и землей, беспилотные самолеты и ракеты смогут выполнять более изощренные маневры. Воздушные бои, как мы их понимаем сейчас, исчезнут».
Необходимо было снова реорганизовывать ПВО, пока же защититься от автоматических убийц было практически невозможно, что и продемонстрировали «Фау‐2» в Лондоне. Люди-операторы должны быть исключены из систем противовоздушной обороны, поскольку новые виды вооружения слишком скоростные и неподвластны восприятию человека. Только машины могли предоставить надежную защиту. Арнолд возлагал большие надежды на ракеты автоматического наведения и реактивные снаряды[124]. Для опытных пилотов истребителей, каким был Арнолд, прогресс ощущался интуитивно: если отбросить человеческий фактор, увеличить скорость и радиус действия снарядов, то обороняться от нового оружия станет сложнее[125].
Через три месяца после окончания войны Арнолд полнее раскрыл свое представление о механизированном будущем в специальном отчете, часть которого была опубликована в газете The New York Times. «Машины войны, – писал он, – смогут наблюдать за территорией врага радиоимпульсами, исходящими из механических мозгов внутри автоматического летающего оружия». Обобщая уроки, полученные в ходе войны против Германии и Японии, Арнолд предсказал космические корабли на твердом топливе и ядерные бомбы, падающие из ионосферы с высоты более 100 километров со скоростью около 5 тысяч километров в час. «Эти ужасающие машины, – писал генерал Арнолд для газеты The New York Times, – станут предвестниками кнопочной войны, в ходе которой снаряды будут передвигаться на огромных скоростях и высотах и смогут поражать землю радиусом в сотни и тысячи километров»[126].
Полностью рациональное поведение – это еще не все, важны еще эмоции и сочувствие.
Арнолд с угрозой прибавил: «Агрессор должен помнить, что нажатие кнопки приведет к атомной контратаке». В том же месяце он призывал гражданских правительственных лидеров принять меры. «Война может обрушиться на нас тысячами роботов, которые возникнут у наших берегов без предупреждения, если мы сейчас не попытаемся это предотвратить», – убеждал он министра обороны Генри Стимсона в ноябре 1945 года[127]. Арнолд был реалистом: «Если война начнется сегодня, наши ВВС потерпят поражение». Действовать – значит построить более совершенные, чем у врага, автоматические военные машины. Только хорошо спланированная контратака может убедить врагов Соединенных Штатов, что сохранение мира в общих интересах. Новые военные машины привнесут новую логику устрашения.
I
Норберту Винеру идея автоматизации военной конфронтации казалась безрассудной. «За всем этим я ощущал острое желание повернуть назад, – с тревогой отметил он в «Бюллетене ученых-атомщиков» (Bulletin of the Atomic Scientists). – Кнопочная война слишком соблазнительна для тех, кто самонадеянно верит в силу своих изобретений и мечтает об уничтожении человечества». Винер знал таких людей лично – некоторые из его коллег в МТИ, казалось, доверяли машинам больше, чем людям. Его возмущала война, возмущал способ, которым она была выиграна, и связанные с ней инновации в области военного дела. А новое противостояние могло наделить таких изобретателей властью. И, что еще хуже, Винер доподлинно знал, что таких опасных технологий появится еще больше, и этот процесс не остановить[128].
118
Там же.
119
«Machines Bordering on Reproduction», Chicago Daily Tribune, June 4, 1961, A14.
120
«Machines That Think Called Peril to Man», Chicago Daily Tribune, December 28, 1959, 1.
121
Norbert Wiener, «Scientist Claims Electronic Brain Could Victimize Man», Baltimore Sun, December 28, 1959, 1.
122
Stafford, Man Called Future Slave.
123
Gibbons, Machines That Think.
124
«Push-Button War», Newsweek, August 27, 1945, 25.
125
Спустя пятьдесят лет командование армии пришло к мысли, что оружие неизбежно станет программируемым: машина избавляется сначала от людей, а затем от собственной аппаратной части, остаются только строки кода, так что война переносится в киберпространство. Подробнее смотрите: Thomas Rid, Cyber War Will Not Take Place (Oxford: Oxford University Press, 2013).
126
Henry Arnold, «If War Comes Again», New York Times, November 18, 1945, 39.
127
Michael S. Sherry, Preparing for the Next War (New Haven, CT: Yale University Press, 1977), 19.
128
Norbert Wiener, «Moral Reflections of a Mathematician», Bulletin of the Atomic Scientists 12, no. 2 (February 1956): 55.