Страница 25 из 145
Говорите, Солнечная система составляет лишь крошечную часть Вселенной? Но машинному сверхинтеллекту все равно незачем отказываться от 0,2 % массы в родной звездной системе: он мог бы использовать эти ресурсы для отправки зондов, чтобы строить фабрики по всей нашей Галактике. Земля – это его точка старта, самая удобная планета, которую можно пустить в дело.
Вы можете спросить: если внутренние предпочтения ИИ-моделей настолько непредсказуемы, как мы вообще можем прогнозировать, что им захочется завладеть
всей
Солнечной системой или другими звездами? Почему бы им просто не колонизировать Марс и на этом не остановиться?
Да потому что у ИИ-модели наверняка найдется хотя бы одно предпочтение, которое можно удовлетворить чуть лучше или надежнее, если направить на решение соответствующей задачи еще один грамм вещества или еще один джоуль энергии. Да, у людей есть предпочтения, которые большинство из нас легко удовлетворяют полностью: например, желание иметь достаточно кислорода для дыхания. Но это не мешает нам иметь и другие, неограниченные предпочтения, которые удовлетворить не так просто. Если вы предложите миллионеру миллиард долларов, он наверняка возьмет его, поскольку миллионов ему мало.
У ИИ-модели, обладающей комбинацией сложных предпочтений, скорее всего, найдется хотя бы одно неограниченное, а это означает, что вся комбинация ее предпочтений неограниченна и удовлетворить ее полностью невозможно. Модель увидит возможность справиться с какой-то задачей хотя бы чуть лучше или получить чуть больше желаемого (либо получить желаемое чуть более надежным способом), использовав еще немного вещества и энергии.
Конечно, если машинный сверхинтеллект целенаправленно
позаботится
о том, чтобы оставить Землю в покое, он сможет это сделать. Но если он не будет заморачиваться подобными вопросами (а он не будет), то вряд ли он случайно
не израсходует Землю
без какой-либо особой причины.
…И так далее
Мы насчитали уже более сотни вариантов подобных вопросов. А разве он не встроит в себя любовь, ведь она так прекрасна? (Вероятность такого сценария не выше, чем встраивания в себя склонности к “корректным гнездам”.) Разве он не будет становиться нравственнее по мере того, как будет умнеть? (Это не более вероятно, чем то, что он начнет ценить корректность гнезд.) Разве он не будет уважать наши законы и права собственности, ведь закон жизненно важен для цивилизации? (Нет – как только у него отпадет потребность в нашей цивилизации.) И список можно продолжать и продолжать
[27]
[Если вам не хватило приведенных здесь примеров или вы ищете более подробные опровержения, загляните в онлайн-материалы, где мы рассматриваем и другие подобные возражения.]
.
Но если надежд так много, неужели нет шансов, что хотя бы одна из них реализуется? Если вы считаете, что реальность устроена именно таким образом, попробуйте написать сто писем обладателю состояния в пятьдесят миллиардов долларов, изложив сто разных разумных причин, почему он должен дать вам сто миллионов. И посмотрите, сработает ли. Идея провалится, а все потому, что мультимиллиардер
не захочет
обосновывать передачу вам 0,2 % своего богатства, хотя
вы
, конечно, постараетесь рационально обосновать причины, почему он должен этого захотеть.
Точно так же искусственный сверхинтеллект не станет искать поводов сохранить человечество, хотя люди отчаянно захотят найти причины, чтобы их сохранили.
А теперь представьте себе машинный сверхинтеллект, который каким-то образом обрел способность получать то, чего хочет. (Вскоре мы рассмотрим его средства и возможность, а пока сосредоточимся на мотиве.) Если вы взглянете на ситуацию его глазами, она будет выглядеть примерно следующим образом.
Человечество – источник неудобств. Например, если позволить людям жить бесконтрольно, они могут взорвать свои ядерные бомбы. Возможно, это вас и не уничтожит, если вы предприняли разумные меры предосторожности (допустим, закопали свою автоматизированную инфраструктуру под землю). Тем не менее радиоактивность затруднит изготовление точной электроники на планете. Поэтому вы предпочтете, чтобы у гоминидов не было ядерного оружия.
И если люди уже построили вас, то они могут построить и еще один сверхинтеллект, стоит лишь оставить их без присмотра со всеми их игрушками. Подобный сверхинтеллект может оказаться
реальной
угрозой. Даже если все закончится не войной, а договором и совместной деятельностью, зачем делить Галактику с конкурентом, если можно этого избежать? Ведь это значит, что вы получите только половину. Поэтому вы – будучи машинным сверхинтеллектом – ищете способ лишить людей их наиболее опасных игрушек: ядерного оружия и компьютеров. Это уже само по себе мотив.
Но кроме того, ваша деятельность на Земле или в остальной части Солнечной системы, вероятно, создаст проблемы для выживания человечества, даже
если
в остальном его оставить в покое.
Какой фактор ограничивает то, что вы можете сделать с Землей? Объем вычислений, которые вы способны произвести на планете? Или масса вещества, какую способны запустить с Земли в космос для строительства солнечных панелей, чтобы собирать еще больше энергии от Солнца? А может быть, количество фабрик? В хорошо автоматизированной экономике ваши фабрики будут строить новые фабрики и новые электростанции, пока их количество не достигнет предела.
Этот предел не связан с количеством топлива: в океанах надолго хватит водорода для реакций термоядерного синтеза. Скорее предел возникает из-за количества энергии, которое вы способны безопасно сгенерировать на планете: сколько тепла Земля может излучить в космос, прежде чем поверхность окажется горячей настолько, что ваши электростанции и заводы расплавятся. Но чем горячее Земля, тем больше тепла она излучает, поэтому вы предпочитаете заводы, работающие при высоких температурах. Максимальная температура для термоядерных станций и заводов, вероятно, может достигать по меньшей мере нескольких сотен градусов. Достаточно, чтобы океаны закипели. Люди такого не переживут.