2062: время машин

Однако мне не верится, что сверхразум появится сам по себе, пока мы просто будем наблюдать за тем, как компьютеры развиваются самостоятельно. Я больше склонен считать, что мы добьемся этого таким же способом, как добивались других технологических открытий: тяжелым трудом, развитием науки с помощью изобретательности, программированием машин на то, чтобы они были умнее нас.

AlphaGo научилась играть в го лучше, чем любой человек. Однако ее навык обучения остался на прежнем уровне. Если попросить AlphaGo сыграть в го на доске 9×9 для начинающих, ей придется учиться заново, почти с нуля. Мы пока не знаем, как транспонировать знания, полученные ею на большой доске, для игры на маленькой. Человек, умеющий играть в го, легко сможет сразу начать играть на простой доске.

Искусственному интеллекту все еще далеко до человеческого уровня, а тем более до сверхчеловеческого. Тем не менее я уверен, что мы к этому придем. Мы создадим машины, которые будут лучше нас. Они будут сильнее, быстрее, умнее нас. Однако я все же надеюсь, что они нас не заменят, а дополнят и расширят наши возможности.

Угроза нашему существованию

Голливуд заставил нас волноваться, как бы злые роботы не попытались захватить планету. Согласно фильму, Терминатор появится только в 2029 году, а значит, у нас есть еще около десяти лет. Прав ли был Стивен Хокинг, когда заявил, что сверхинтеллект – самая большая угроза нашему существованию? Прямо сейчас мы – самые разумные существа на планете, а все остальные зависят только от нашей воли. Не будет ли наша судьба зависеть от воли этих сверхразумных машин? Перейдем к вопросу о том, могут ли они просто-напросто нас уничтожить. Будет ли их появление означать конец человечества?

Машины обычно изображаются в кино злыми. Однако бо́льшие опасения должна вызывать некомпетентность. Разумеется, необходимо учитывать вероятность, что сверхразумные машины могут случайно покончить с человечеством. Есть несколько вариантов, как это может произойти.

Прикосновение Мидаса

Наиболее вероятный сценарий заключается в вероятности того, что цели такого компьютера будут недостаточно точно прописаны. В качестве аналогии подходит греческий миф о царе Мидасе, который получил желанный дар – обращать все, к чему прикасается, в золото. Однако царь неудачно сформулировал свое желание: он ведь не хотел, чтобы его еда или родная дочь превращались в золото.

Можно поспорить, что в истории ИИ уже бывали такие случаи, только в более безопасных условиях. Например, исследователи ставили эксперимент, в котором научили компьютер играть в Coast Ru

Будучи умными, такие машины могут достигать поставленных целей удивительными путями. Например, поставим перед компьютером задачу устранить рак. Один из способов это сделать – уничтожить каждого носителя раковых клеток, то есть все человечество. Не совсем то, что мы имели в виду, когда ставили задачу.

Подобные примеры рисуют довольно мрачную картинку. Если бы я поручил вам вылечить рак, а вы бы начали убивать людей, то я, вероятно, решил бы, что не так уж вы и умны. Мы предполагаем, что умные люди усвоили правильные моральные нормы и сочувствуют другим, особенно тем, у кого есть разум и чувства. Разве не должен тогда сверхразум обладать этими же качествами наравне с интеллектом?

Скрепки повсюду

Второй возможный вариант заключается в том, что, даже если цели сформулированы правильно, остается риск непредсказуемых побочных эффектов, которые могут навредить человеку. Любой, кто когда-либо отлаживал компьютерный код, знает, как раздражающе буквально машины воспринимают инструкции. Этот риск исследован в известном мысленном эксперименте, предложенном Ником Бостромом.

Допустим, мы создадим сверхразумную машину и поставим перед ней задачу сделать столько скрепок, сколько возможно. Поскольку машину наделят сверхинтеллектом, она будет очень хорошо выполнять эту задачу. Она начнет строить все больше заводов по производству скрепок. В конце концов весь мир будет производить только их. Машина в точности выполнит ту задачу, которую перед ней поставили, но для человечества это будет иметь не самые желательные последствия.

Бостром, конечно, всерьез не верит, что мы дадим компьютеру подобные указания, учитывая то, что нам известны все риски. Этот пример был избран им лишь для того, чтобы показать, что даже такая обыкновенная и безвредная задача может быть выполнена совершенно неожиданным образом.

Так же, как и аналогия с царем Мидасом, пример со скрепками демонстрирует неспособность машины принимать правильные решения самостоятельно. Разве не должен компьютер понимать, что не стоит так буквально воспринимать поставленную задачу? Да, создай большое количество скрепок, но не ценой окружающей среды и уж точно не ценой человечества.

Мы или они?

Третий вариант – это появление у машины таких подзадач, которые противоречат существованию человечества. Предположим, перед ней поставили цель сделать людей счастливее или защитить планету. Почти любая подобная задача потребует от сверхинтеллекта наличия ресурсов, позволяющих ее выполнить. Также она потребует того, чтобы компьютеру ничто не помешало достигнуть поставленной цели.

Однако люди могут отключить машину. К тому же, они будут потреблять ресурсы, которые можно было бы использовать для достижения этой цели. В таком случае вполне логичным для сверхинтеллекта будет желание нас уничтожить. Тогда нам уже не удастся отключить машину или потребить ресурсы, необходимые ей для выполнения задачи.

Эти две подзадачи, которые заключаются в самосохранении и присвоении ресурсов, Стивен Омоандро назвал основами мотивации ИИ[38]. Эти основы представляют собой базовые подцели, которыми будет руководствоваться любой относительно разумный искусственный интеллект. ЭАЛ-9000 из «Космической Одиссеи» Артура Ч. Кларка демонстрирует отличный пример ориентированности ИИ на самосохранение. ЭАЛ начинает убивать астронавтов на борту космического корабля «Дискавери-1» в отчаянной попытке не позволить им выключить компьютер.

Другие основы мотивации ИИ заключаются в совершенствовании и креативности. Искусственный интеллект со временем будет становиться более эффективными и дееспособным как физически, так и в области вычислений, что поможет ему выполнять и другие задачи. Возможно также (но менее вероятно), что ИИ станут более креативными, будут искать новые, более результативные пути для достижения целей.

Эффективность – это хорошо; она поможет нам сохранить ограниченные ресурсы этой планеты. Однако креативность представляет собой проблему. Она означает, что машины станут непредсказуемыми. Неизвестно, какими путями они будут идти к достижению целей. Эту проблему мы подробно обсудим в следующем разделе.

Движущаяся мишень

Четвертый вероятный сценарий заключается в том, что сверхинтеллект может самосовершенствоваться, а следовательно, начать работать не так, как задумывалось, в том числе ставить себе совершенно новые цели. Это будет особенно актуально, если мы захотим сделать ИИ умнее нас. Разве можно быть уверенным в том, что, опередив нас, ИИ останется в рамках человеческих моральных норм? Некоторые аспекты, на первый взгляд совершенно безобидные, способны превратиться в подобном случае в опасные.

Движущимся объектом может стать не только сверхинтеллект, но и система, в которой он существует. Этот феномен, получивший название «ползучесть миссии», мы можем наблюдать и в человеческих сферах деятельности. Решение выслать нескольких военных советников во Вьетнам вылилось в полноценную безрезультатную войну, в которой приняли участие сотни тысяч солдат.

38

См. Stephen Omohundro (2008) ‘The Basic AI Drives’, in Pei Wang, Ben Goertzel & Stan Franklin (eds), Artificial General Intelligence 2008: Proceedings of the First AGI Conference, Frontiers in Artificial Intelligence and Applications 171, Amsterdam, IOS Press, pp. 483–492.