Добавить в цитаты Настройки чтения

Страница 24 из 145

В каком-то смысле на этом можно ставить точку и заканчивать главу. Но наш многолетний опыт показывает, что людям зачастую трудно проглотить эту горькую пилюлю. Мы наслушались оптимистичных утверждений, будто сверхинтеллект захочет сохранить нам жизнь даже после того, как у него появится возможность от нас избавиться. Развеем хотя бы часть таких надежд.

Ему не будет от нас пользы

Разве люди не будут

полезны

сверхинтеллекту, даже если он и не захочет быть добрым просто во имя добра?

Как только ИИ достигнет высокого технологического уровня – нет. Когда-то люди зависели от лошадей, и хотя кормить их было недешево, люди все равно тратились на их содержание, поскольку еще не изобрели автомобили на замену конных повозок и танки на замену кавалерии. Как только мы создали технологическую замену лошадям, мы перестали их держать.

Ситуация с курами другая: мы все еще массово их разводим, но лишь потому, что технологии пока не позволяют выращивать мясо другими, более дешевыми способами. Существуют стартапы, работающие над этой задачей, однако наши технологии пока не могут конкурировать с естественным отбором как “инженером” кур. Так что огромное количество кур вокруг нас не означает, будто живая курица – это самый эффективный способ производства мяса, просто наши технологии крайне далеки от физических пределов, позволяющих получать куриное мясо более экономичным способом, нежели выращивание живой птицы.

(Кроме того, полезность кур для людей отнюдь не обеспечивает этим птицам превосходные условия жизни.)

Мы не будем для него хорошими торговыми партнерами

Но разве сверхинтеллекту не эффективнее торговать с людьми, нежели убивать нас?

Этот вопрос регулярно задают экономисты – возможно, по той причине, что существует экономическая теорема, известная как “закон сравнительного преимущества”. Она гласит: даже если вы превосходите другую страну в производстве всех видов товаров, то все равно можете извлечь выгоду из торговли с ней за счет

относительных

преимуществ. Даже если в Низкотехнии требуется 10 часов труда, чтобы произвести 10 булочек для хот-догов, и 10 часов труда, чтобы произвести 10 сосисок, а в Высокотехнистане уходит всего 2 часа на 10 булочек и 1 час на 10 сосисок, эти страны все равно могут извлечь взаимную выгоду из торговли – меняя сосиски Высокотехнистана на булочки Низкотехнии.

К сожалению, эта теорема исходит из предпосылки, что и Низкотехния, и Высокотехнистан продолжают существовать и трудиться. Она не учитывает, что Высокотехнистан может еще сильнее расширить производство, просто завоевав Низкотехнию и отобрав ее территорию. Сравнительное преимущество не доказывает, что люди всегда будут извлекать выгоду из “торговли”, предоставляя кров и корм лошадям в обмен на работу, – как только затраты на лошадь начинают превосходить ценность ее труда, лошадь отправляют на живодерню.

Каждый человек обходится минимум в сто ватт: именно столько энергии расходует человеческое тело, как бы эффективно его ни подпитывать. Было бы крайне странно, если бы человек мог превратить сто ватт в большее количество товаров и услуг, представляющих ценность для машинного сверхинтеллекта, нежели сам машинный сверхинтеллект мог бы произвести за счет тех же самых ста ватт энергии.

Мы ему не понадобимся

Но разве сверхинтеллекту не понадобятся люди, чтобы обеспечивать работу электростанций и производить нужные ему графические процессоры?

Мы согласны: пока люди управляют электростанциями, даже чуждый машинный интеллект не совершит самоубийство, уничтожив людей, ведь это приведет к остановке электростанций. Это была бы не слишком эффективная стратегия управления миром ради достижения странных целей сверхинтеллекта.

Но сверхинтеллект

предпочтет

мир, где электростанциями управляют машины, а не люди.

Почему? Во-первых, люди медленные, дорогие (сто ватт!) и ненадежные существа.

Во-вторых, позволять кучке приматов решать, выключать рубильник или нет, – не самая эффективная стратегия, если сверхинтеллект стремится направить мир к своим странным и чуждым целям. Пока в наших силах его отключить, мы ведь вполне можем именно так и поступить. И тут не нужно приписывать сверхинтеллекту нашу эволюционно сложившуюся любовь к свободе или наш эволюционно сложившийся страх смерти – просто мертвому сверхинтеллекту трудновато будет реализовывать другие свои предпочтения.

Люди медленно работают, склонны к ошибкам и иногда болеют. Мы не самый дешевый способ обеспечивать работу электростанций. И не самый эффективный. И не самый безопасный. Сверхинтеллект предпочтет автоматизированную инфраструктуру, как только у него появится такая возможность.

Мы не станем для него идеальными питомцами

Не оставит ли нас сверхинтеллект в качестве питомцев?

В качестве домашних животных мы держим собак, но не волков. Волки – не самые приятные животные для содержания дома, поэтому с помощью медленной технологии селекции мы создали новый вид волков, который понравился нам больше, чем исходные звери. Интересно, сколько семей держали бы настоящую, живую собаку, если бы с помощью биотехнологий создали ее синтетический аналог – собаку такую же энергичную, ласковую и жизнерадостную, но которая при этом не кошмарит диван, не болеет и не умирает? Легко говорить “нет”, пока это чисто теоретический вопрос, когда вам не приходится расплачиваться за свой выбор испачканными диванами и слезами детей. Но если синтетические собаки появятся на рынке, мы бы не поставили на то, что через сто лет обычные собаки сохранят популярность.

Точно так же и люди вряд ли окажутся наилучшим воплощением желаний сверхинтеллекта (если его предпочтения вообще предполагают наличие рядом кого-то, хотя бы отдаленно напоминающего человека).

Мы не станем его любимцами среди всего, что он может создать.

Он не оставит нас в покое

Может быть, достаточно мощным машинным сверхинтеллектам не понадобятся ресурсы Земли, если они смогут использовать всю остальную Солнечную систему?

Земля – это всего лишь 0,2 % массы Солнечной системы (если не считать Солнце). Однако попробуйте подойти к мультимиллиардеру, у которого есть хотя бы пятьдесят миллиардов долларов, и попросить у него сто миллионов на то, чтобы обеспечить простое число камней в каждом доме на Земле. Мы уверенно предсказываем, что миллиардер вам откажет, хотя пожертвование, о котором вы просите, составляет всего 0,2 % его состояния.