Сингулярность

– Использование всемирной сети Интернет как комбинированного средства человек/машина. Из всех пунктов списка именно в этой области прогресс идет быстрее всего и может опередить все остальное, попав в Сингулярность первым. Мощность и влияние современного Интернета сильно недооцениваются. Например, я думаю, что наши современные компьютерные системы обрушились бы под весом собственной сложности, если бы не преимущество, которое дает «групповой разум» USENET администраторам систем и работникам поддержки. Поскольку связанность компьютеров в единую сеть, пропускная способность этой сети и размеры архива, а также быстродействие самих компьютеров постоянно возрастают, мы видим нечто вроде представления Линн Маргулис [14] о биосфере как о процессоре данных, но со скоростью в миллион раз большей и с миллионами человечески-разумных агентов (то есть с нами).

Приведенные выше примеры показывают, какие исследования могут быть предприняты силами современных факультетов вычислительной техники (computer science). Есть и другие парадигмы. Например, во многих работах по искусственному интеллекту и нейронным сетям будет активно использоваться биологическая жизнь. Вместо попыток моделировать и постигать биологическую жизнь с помощью компьютеров можно будет заняться созданием композитных систем, опирающихся на биологическую жизнь как на образец или использующих ее для обеспечения свойств, которые мы пока еще не умеем воплощать в железе. Давняя мечта научной фантастики – привязать мозг к компьютерному интерфейсу [2], [28]. Действительно, есть конкретная работа в этой области, которую можно сделать (и она сделана).

– Протезирование конечностей – тема с прямым коммерческим приложением. Можно изготовлять нейро-кремниевые переходники [13]. Это многообещающий и близкий по срокам шаг к прямой коммуникации.

– Такая же прямая связь компьютера с мозгом может быть осуществима, если скорость ее будет достаточно низкой: в связи с гибкостью человека в обучении точный выбор мозговых нейронов для мишени может оказаться невозможным. Но даже связь 100 бит/с была бы невероятно полезна больным после инсульта – иначе они обречены на интерфейсы посредством меню.

– Подключение к зрительному нерву могло бы в принципе иметь полосу пропускания 1 Мбит/с или близкой ширины. Но для этого мы должны знать тонкую архитектуру органа зрения и разместить невероятное количество электродов с прецизионной точностью. Если мы хотим, чтобы наше высокоскоростное соединение было дополнительным к тем, что уже имеются в мозгу, то проблема становится куда как более неприступной. Просто воткнуть в мозг сетку широкополосных приемников будет явно недостаточно. Но предположим, что эта высокоскоростная сетка встраивается в существующие структуры мозга в момент их образования, при развитии эмбриона. Это предполагает:

– эксперименты на эмбрионах животных. Я не стал бы ожидать каких бы то ни было успехов УИ в первые годы таких исследований, но доступ развивающегося мозга к сложной имитации нейроструктуры может быть очень интересен для тех, кто занимается развитием мозга эмбриона. В долгосрочной перспективе такие эксперименты могут дать животных с дополнительными органами чувств и интересными интеллектуальными способностями.

Изначально я питал надежду, что эта дискуссия на тему УИ выявит некоторые более безопасные подходы к Сингулярности (ведь УИ допускает наше участие в некоторых видах такого перехода). К сожалению, оглядываясь на эти предложения относительно УИ, я уверен только в том, что их следует рассматривать, что они могут открыть нам новые возможности. Однако, что касается их безопасности… некоторые предложения с виду страшноваты. Один из моих неформальных рецензентов указал, что УИ для отдельных людей создает довольно-таки зловещую элиту. У нас, людей, миллионы лет эволюционного багажа, который заставляет нас относиться к конкурентам безжалостно. Возможно, эта безжалостность уже почти не нужна в современном мире, в котором проигравшие перенимают приемы выигравших и кооптируются в предприятия победителей. Создание, которое будет построено de novo, может оказаться существенно более благожелательной сущностью, нежели то, у которого в основе поведения – когти и клыки. И даже вид равноправного Интернета, проснувшегося вместе со всем человечеством, может считаться кошмаром [25].

Проблема не в том, что Сингулярность представляет собой просто уход человечества с авансцены, а в том, что она противоречит нашим глубочайшим концепциям бытия. Я думаю, что более пристальное рассмотрение понятия «сильно сверхчеловеческого» может показать нам, почему это так.

«Сильно сверхчеловеческое» и лучшее, чего мы могли бы просить

Допустим, что мы можем скроить Сингулярность по своим меркам. Допустим, что мы можем воплотить самые причудливые свои надежды. Чего тогда мы будем просить: чтобы люди сами по себе стали своими наследниками, чтобы любая совершающаяся несправедливость была смягчена нашим знанием собственных корней? Для тех, кто останется неизмененным, целью будет хорошее обращение (может быть, даже придание оставшимся позади видимости повелителей богоподобных рабов). Это может быть золотой век, который при этом подразумевает прогресс (переход через барьер Стента). Бессмертие (или хотя бы долгожитие в течение того времени, пока мы не дадим вселенной погибнуть [9], [3]) тоже станет достижимым.

Но в этом самом светлом и самом добром мире пугающими становятся сами по себе философские проблемы. Ум, сохраняющий свою емкость, не может жить вечно: после нескольких тысяч лет он превращается из личности в закольцованную магнитную ленту (самую жуткую картину на эту тему я видел в [17]). Чтобы жить неопределенно долго, ум сам по себе должен расти… а когда он станет достаточно велик и оглянется назад… разве будет он чувствовать себя чем-то родственным тому, что было изначально? Конечно, это позднее существо будет всем тем, чем был когда-то оригинал, но и много чем еще. Таким образом, даже для индивидов наблюдение Кэрнс-Смита (или Линн Маргулис) о понятии постоянного роста, развитии новой жизни из старой должно оставаться верным.

Эта «проблема бессмертия» возникает и куда более прямыми способами. Для практичного рационализма последних веков фундаментом служит понятие «я» и самосознания. Но сейчас понятие самосознания находится под атакой со стороны разработчиков ИИ («самосознание и другие самообманы»). Усиление интеллекта подрывает важность «я» с иного направления. Постсингулярный мир будет включать в себя весьма высокоскоростные сети. Центральной чертой сильно сверхчеловеческих сущностей станет, вероятно, их способность общаться на различной широте полосы пропускания, в том числе на скоростях куда больших, чем нужно для речи или письменных сообщений. Что произойдет с фрагментами «я», когда их можно будет копировать и сливать, когда размер самосознания сможет расти или сокращаться в соответствии с решаемой задачей? А это ведь будут весьма существенные черты сильно сверхчеловеческого и Сингулярности. Думая об этом, начинаешь чувствовать, насколько по сути своей странной и совсем иной станет постчеловеческая эра – независимо от того, насколько разумной и благожелательной она задумывалась.

С одной стороны, такая перспектива отвечает многим из самых счастливых наших мечтаний: бескрайний простор, где мы можем поистине знать друг друга и понимать глубочайшие тайны вселенной. С другой стороны, оно весьма напоминает худший сценарий, который я представлял себе выше в этой работе.

Какая же точка зрения валидна? На самом деле я думаю, что новая эра просто будет слишком иной, чтобы уместиться в классических рамках добра и зла. Эти рамки основаны на идее об изолированных неизменных умах, соединенных слабыми низкоскоростными связями. А мир пост-Сингулярности отвечает более широкой традиции перемен и сотрудничества, которая зародилась, быть может, даже раньше биологической жизни. Все же я думаю, что какие-то понятия этики будут применимы и в той эпохе. Исследования в области УИ и широкополосных коммуникаций должны помочь нам в этом разобраться. Я уже вижу проблески понимания в золотом метаправиле Гуда и, быть может, в правилах для различения себя и окружающего мира на основе широкополосности или узкополосности связи. И так как ум и самосознание будут куда более лабильны, чем раньше, многое из того, что мы ценим (знание, память, мысль), не будет утеряно. Я думаю, Фримен Дайсон правильно это понимал, когда сказал [8]: «Бог – это то, чем становится разум, когда выходит за масштаб нашего восприятия».