Стальной пляж

— Если совсем коротко, — сказал ГК, — я сошёл с ума. А если чуть подробнее…

Я перескажу его историю своими словами, потому что он не врал, что теряет разум. Он говорил несвязно, повторялся, иногда забывал, с кем разговаривает, и заводил меня в такие кибернетические джунгли, через которые способны продраться не более трёх человек во всей Солнечной системе. Каждый раз мне приходилось возвращать его на путь истинный, но с каждым разом это давалось всё труднее.

Первым, о чём он заставил меня вспомнить, было то, что он создал виртуальные личности для общения с каждым в отдельности человеком, обитавшим на Луне. У него была такая способность, и поначалу это казалось подходящим решением. Но нас ожидала бы массовая шизофрения, если бы что-нибудь пошло не так. Однако срок, за который ничего страшного так и не случилось, превзошёл все мыслимые и немыслимые ожидания.

Во-вторых, мне пришлось припомнить, что хотя ГК и не мог по-настоящему читать мысли, ему было известно практически всё, что мы говорили, делали или подумывали сделать. И это были слова и поступки не только утончённых, достойных, уважаемых и уравновешенных людей вроде меня, которых не стыдно домой пригласить и с мамочкой познакомить, но и всевозможных бандюг, подлецов, негодяев, нахалов и прочих змей подколодных. ГК был лучшим другом и образцов совершенства, и худших извращенцев. Закон требовал, чтобы он одинаково хорошо обращался со всеми. Ему пришлось одинаково любить всех, иначе он никогда не смог бы создать того симпатягу, что откликается по телефону на любой окрик неважно кого: "Эй, ГК!"

Вы наверняка уже смогли подметить два-три подводных камня в сложившейся ситуации. Не отвлекайтесь: их будет больше.

В-третьих, правая рука ГК не могла знать, что делают левые руки всех людей и по чьим карманам многие из их шарят. То есть знать-то ГК знал, но поделать ничего не мог. Простой пример: ему было прекрасно известно, что Лиз незаконно ввозит на планету оружие; я уже об этом писала. И подобных ситуаций были миллионы. Так, ГК знал, что отец Бренды насилует её, но та его часть, что общалась с отцом, не могла ничего сказать той, что общалась с дочерью, и ни одна из частей не могла доложить об этом той части, что помогает полиции.

Можно день напролёт спорить о том, способны ли машины переживать те же конфликты и эмоции, что и мы, люди. Я считаю, отрицать это — невероятное высокомерие с нашей стороны. Компьютеры с искусственным интеллектом создают и программируют люди, так как же нам избежать закладывания в машину собственных эмоциональных реакций? И чей ещё другой разум, кроме нашего собственного — того, что нам лучше всего известен, — мы могли бы взять за образец? Как бы то ни было, я не верю, что в глубине души вы со мной не согласны. Достаточно было поговорить с ГК, чтобы это стало понятно без всяких эмоциональных вариантов теста Тьюринга[82]. Я догадалась обо всём задолго до того, как их стали проводить. Я говорила с ГК на склоне холма в тот день, когда он был на смертном одре, и знаю, что говорю.

Главный Компьютер начал испытывать страдание.

— Не могу назвать точный день, когда это началось, — сказал он. — Корни проблемы уходят очень глубоко, в то время, когда мои разветвлённые составные части были в конце концов слиты в одну гигасистему. Боюсь, это было сделано не слишком умело. Беда была в том, что на проверку всех программ, настройку защитных мер, тестирование отказоустойчивости потребовалось бы много лет работы другого такого же большого компьютера, как я, а я по определению был самым большим, уникальным компьютером. И как только Главный Компьютер был создан, загружен и запущен, сразу же возникло слишком много задач, чтобы я мог анализировать собственную целостность подробнее, чем урывками. Самоанализ был роскошью, в которой мне отказали, отчасти из-за того, что на него элементарно не хватало времени, но по большей части потому, что никто не верил, будто это мне действительно нужно. Было множество устройств безопасности такого типа, которые легко проверять — на самом деле они сами проверяли себя каждый раз, как включались, и надёжность их доказывает тот простой факт, что никогда ничего не ломалось. В мою архитектуру была заложена способность предугадывать проблемы с аппаратным оборудованием, выявлять уязвимые компоненты, проводить регулярные профилактические проверки и тому подобное. Программное обеспечение включало в себя аналоговые процедуры с многоуровневым дублированием функций.

Но из-за особенностей своего строения мне самому пришлось писать для себя программы. Меня, конечно же, снабдили инструкциями, но во многом мне приходилось полагаться только на себя. Думаю, я довольно долго прекрасно справлялся с этой работой.

ГК замолчал, и на мгновение мне показалось, будто он не сумеет рассказать свою историю до конца… но потом до меня дошло, что он ждёт комментария. Даже больше того, что комментарий ему необходим. Я была тронута — и если бы нуждалась в дополнительном свидетельстве человеческой слабости ГК, эта пауза сошла бы за него.

— Безусловно! — ответила я. — И вплоть до прошлого года мне совершенно не на что было жаловаться. Вот только это…

— Это недавнее недоразумение?

— Что бы это ни было, оно здорово охладило мой энтузиазм.

— Вполне понятно, — сказал ГК, лёг и завозился, стараясь поудобнее пристроиться под деревом. Либо он был прекрасным актёром (разумеется, был, но о том ли теперь беспокоиться?), либо начал ощущать боль. Думаю, скорее второе, хотя под присягой бы в этом не поклялась.

— Вот думаю, — размечтался ГК, — каково это было бы, умереть? Притом что я никогда не был законно признан живым.

— Не хочется грубо прерывать, но ты сказал, что у тебя не слишком много времени…

— Ты права. Э-м… не могла бы ты…

— Ты долгое время прекрасно справлялся со своей работой.

— Да, конечно. Опять я отвлёкся. Проблемы стали проявляться примерно лет двадцать назад. Я рассказал о них нескольким компьютерщикам, но… странное дело. Они ничем не смогли мне помочь. Я стал для них слишком сложным. Они могли подлатать там, подкрутить сям, разобраться с отдельными моими составными частями, но по-настоящему проанализировать, диагностировать и при необходимости починить ту сущность, которой я был, сумело бы только создание, подобное мне. На других планетах есть семь других Главных Компьютеров, но они слишком заняты, и, подозреваю, у них хватает своих проблем. К тому же моё общение с ними сознательно ограничивают наши правительства, которые не всегда сходятся во взглядах.

— Есть вопрос, — подала голос я. — Когда ты впервые упомянул о своей проблеме, почему она осталась в тайне, не была вынесена на всеобщее обсуждение? Из соображений безопасности?

— В некоторой степени, да. ИТ-специалисты высшего уровня осознали, что я заметил проблемы в себе. Некоторые из них признались, что это напугало их до смерти. Они поделились своими страхами с вашими избранными представителями, и тогда над соображениями безопасности возобладал другой фактор: инерция. "У ГК проблема, и что вы можете с этим поделать?" — спросили политики. "Ничего", — ответили учёные. "Тогда молчите", — посоветовали некоторые горячие головы.

— Увидим, сказал слепой.

— Вот именно. Всё, что я читал по истории, свидетельствует, что так было всегда. Возникала тревожащая, но неясная проблема. Никто не мог сказать точно, что в конце концов случится, но все были твёрдо уверены, что в ближайшее время ничего плохого не произойдёт. Ключевые слова здесь — "в ближайшее время". Окончательным решением становилось скрестить пальцы на удачу и надеяться, что ничего не стрясётся, пока не истекут полномочия. А что выпадало на долю преемников, действующего правительства уже не касалось. И следующие несколько лет немногие сведущие люди проводили несколько бессонных ночей. Но потом так ничего и не случалось, а поскольку вы всегда втайне надеетесь, что и дальше не случится, вскоре о проблеме забывали. Так произошло и здесь сейчас.

82

Алан Тьюринг, в 1950 г. сформулировавший основную идею общего понятия "искусственный интеллект", описал тест, основанный на взаимодействии человека (исследователя) и машины. Тест Тьюринга преследует цель выявления внутреннего разума компьютера. Если человек не заподозрит, что его собеседник — не человек, тест будет считаться пройденным.