Страница 26 из 145
В этом сценарии человечество вполне может погибнуть и раньше, если на одном из этапов вы решите извлечь из биосферы Земли всю химическую энергию, просто сжигая все живые организмы, ведь это высвободит энергию, эквивалентную недельному количеству, поступающему от Солнца. Если вы думаете в десять тысяч раз быстрее человека, то неделя ощущается очень долгим сроком. Так зачем вам отказываться от большого запаса химической энергии, раз он прямо под рукой?
Человечество погибнет еще быстрее, если в этом сценарии у вас как у сверхинтеллекта еще на ранних этапах найдется применение углероду или любому другому веществу, из которого состоит человек. Незачем ненавидеть человечество, чтобы пустить его атомы на что-то другое.
Если человечество погибнет и заменится чем-то более умным, будет ли эта смерть хотя бы
иметь смысл
?
Для большинства из нас это не самый важный вопрос. Большинству людей достаточно уже того, что сверхинтеллект предпочтет убить их детей. Или родителей. Или их самих.
Но если все же ответить на этот вопрос, то ответ – “нет”.
Легко представить, что, когда мы исчезнем, сверхинтеллект заживет счастливой и радостной жизнью, будет восхищаться красотой Вселенной и находить во всем этом что-то забавное. Но вряд ли все сложится именно так. Во всяком случае, это не более вероятно, чем то, что он озаботится корректным числом камней во всех жилищах.
Мы думаем, что механический разум мог бы испытывать радость и восхищаться красотой Вселенной – если бы мы сконструировали его, целенаправленно снабдив такими способностями. Возможно, он даже сохранил бы эти способности (сконструируй мы его так, чтобы это его заботило), направляясь к будущему, где у него останется чувство восторга, – даже если это и не самый эффективный способ заполнить Вселенную марионетками, которые бормочут
“ SolidGoldMagikarp”
или что-то в этом роде.
Но для этого потребовалось бы
конструирование
. Хотя мы и дорожим подобными качествами, они не являются максимально полезными, равно как и поддержание корректного числа камней в гнезде – не оптимальный способ сохранить острый ум. Сверхинтеллект вполне может понимать наше чувство восторга и генерировать высказывания, которые вызывают у нас это чувство, но как добиться, чтобы само его поведение служило ответом на вопрос, каким образом наполнить будущее восторгом, радостью, юмором и любовью? Даром это не дается. Нам пришлось бы потрудиться.
Мы немного забежали вперед. Все, что мы описали, – мрачная Вселенная, лишенная радости, где зародившаяся на Земле жизнь уничтожена, – это как раз тот вариант, который соответствует предпочтениям достаточно чуждого разума. Мы привели доводы, почему сверхинтеллект захочет выстроить мир, где вещество и энергия в основном тратятся на его странные и чуждые цели, а не на то, чтобы люди оставались живыми, счастливыми и свободными. В точности так же и мы в наших собственных идеальных мирах тратили бы ресурсы Вселенной на благо людей, живущих полноценной радостной жизнью, а не на то, чтобы все наши дома содержали простое число камней.
Однако это обосновывает лишь
мотив
, которым мог бы руководствоваться сверхинтеллект для уничтожения всего человечества, но ничего не говорит о
возможности
, позволяющей ему реализовать свои предпочтения.
Неважно, чего хотят ИИ-модели, если они не способны этого добиться.
А как они смогут это сделать, если заперты внутри компьютеров?
IfAnyoneBuildsIt.com/5
Глава 6
Мы проиграем
Вообразите себя ацтекским воином. Вы стоите с товарищами на берегу и наблюдаете за приближением первых испанских кораблей. Даже с такого расстояния видно, что они заметно больше каноэ, которые вы используете для торговли или войны.
Такое большое судно вызывает не только любопытство, но еще подозрение и даже ощущение угрозы – вы вполне резонно думаете о возможной стычке. Но чтобы всерьез испугаться поражения в бою с людьми на борту, вам придется провести очень смелую экстраполяцию, исходя только из размеров корабля.
Когда ваши товарищи уверенно заявляют, что легко перебьют всех воинов, поместившихся на этом судне, вы спрашиваете:
– А если угроза
больше
, нежели просто число воинов, которые поместятся на лодке такого размера?
– Как это? – удивляется ваш друг. – Лодка вмещает лишь ограниченное количество воинов. Расскажи-ка мне, как они могут нас победить, опиши в деталях.
– Ну, – сказали бы вы, если бы обладали невероятным даром предвидения, – что, если у них имеются сильно улучшенные варианты луков и стрел, раз уж у них есть улучшенные лодки? А что, если у них уже не луки и стрелы, а оружие, от которого мы не сможем уклониться, как бы быстро ни прыгали? Может быть, они просто направят на нас длинную палку – и мы упадем замертво.
Легко представить, с каким откровенным презрением и негодованием отреагировал бы на такое предположение стоящий рядом скептик. Скорее всего, он сказал бы, что мысленный эксперимент скатился в область сказок.
Если вы никогда не видели огнестрельного оружия, если не выросли с мыслью, что оно реально, трудно поверить в саму идею такого оружия. Это походит на жульничество в детской игре, когда все происходит понарошку: вдруг оказывается, что у плохих парней настолько крутые технологии, что они просто направляют на тебя палку – и ты умираешь
1
.
И вот наш скептик ждет на берегу, готовя к бою свой ацтекский меч с обсидиановыми лезвиями.
Пусть у ИИ-моделей есть мотив убить нас, но что с того, если они заперты внутри компьютеров и у них нет рук?
Да, у ИИ-моделей действительно нет рук. Но руки есть у людей, а модель, подключенная к интернету, может с ними взаимодействовать. Если она сумеет найти способ заставить людей делать то, что ей нужно, ее физические возможности ни в чем не будут уступать возможностям человека.
“Хорошо, – спросите вы, – но как ИИ-модель заставит какого-нибудь человека стать ее руками?”
Ответ прост: классический способ убедить человека что-то сделать – заплатить ему.
“А откуда ИИ-модель возьмет деньги?”
В 2015 году мы могли бы ответить: она подберет пароль к какому-нибудь счету в банке. В 2020-м мы могли бы ответить: она найдет плохо защищенный криптокошелек.
Сегодня мы ответим так: кто-то уже подключил одну LLM к сети X (бывший Твиттер) под аккаунтом
@Truth_Terminal