Добавить в цитаты Настройки чтения

Страница 23 из 145

девушка-птица: Ну, хотя нас самих и волнует корректность гнезд, подобная забота вовсе не кажется обязательной с точки зрения эволюционной логики. Я вполне могу представить себе очень похожих на нас птиц, которым вообще нет дела до корректных гнезд, но при этом у них выживает столько же потомства, сколько и у нас. Это было бы так же удивительно, как найти инопланетян, обладающих чувством юмора. Любовь к своим детям – это одно, но юмор кажется чем-то специфическим. Если у каких-то инопланетян и есть чувство юмора, они, вероятно, находятся так далеко от нас, что ни одно наше послание до них не дойдет.

юноша-птица: Какая странная и ужасная мысль – что большинство жителей Вселенной живут в гнездах с некорректным количеством камней! Но ведь к тому времени, когда разумные существа достигают высот цивилизации и начинают путешествовать среди звезд, им с первого взгляда должно быть ясно, что гнездо с четырьмя камнями – некорректное!

девушка-птица: Если бы инопланетяне задали себе этот вопрос, они бы мгновенно узнали ответ. Но это не то же самое, что придавать значение этой конкретной истине о гнездах. Они просто не задаются таким вопросом.

юноша-птица: Не понимаю. Если они знают про некорректное количество камней, но все равно строят такое гнездо, разве это не глупее, чем не знать? Как они могут быть достаточно умными, чтобы путешествовать к звездам, но при этом настолько глупыми, чтобы жить в ужасных гнездах?

девушка-птица: Они способны спрогнозировать, какие гнезда мы бы назвали корректными, но у них другая цель. Дело не в том, что инопланетяне ошибаются в предсказании того, какое количество камней обладает свойством, называемым у нас “корректностью”. Дело в том, что они движутся к другой цели. Они вообще

не ставят себе цель

жить в корректных гнездах, поэтому их и нельзя назвать глупыми в смысле неумения прогнозировать или планировать. Они не попадают в нашу цель, поэтому твой мозг считает, что они плохо целятся, однако на деле они просто не пытаются туда попасть.

юноша-птица: Поскольку одержимы какой-то странной инопланетной целью настолько, что у них не осталось сил и времени заботиться о корректности гнезд? Сомневаюсь, что можно достичь звезд, если ты способен маниакально преследовать лишь одну-единственную цель. Это было бы глупо.

девушка-птица: У них может быть сто разных врожденных эмоций и десять тысяч разных желаний! И все же, вероятно, среди них не будет “корректных гнезд” в том смысле, как мы понимаем корректность.

юноша-птица: Похоже, это противоречит той масштабной тенденции, которую мы наблюдали на протяжении всей нашей истории: по мере того, как росли интеллект, могущество, богатство, мудрость и знания нашего вида создателей Корректных Гнезд, цивилизации строили все более прекрасные гнезда со все большим общепризнанно корректным числом камней.

девушка-птица: У представителей нашего вида общие гены, которые формируют похожие мозги. Мы рождаемся со схожими эмоциями, побуждающими нас одинаково реагировать на доводы. Поэтому по мере того, как наш вид становился разумнее, мы находили все более совершенные ответы на наши общие внутренние вопросы. Но инопланетяне не задавались бы тем же внутренним вопросом о корректном числе камней, поэтому их поведение, связанное с гнездами, не сближалось бы с нашим по мере того, как оба наших вида становились бы умнее.

юноша-птица: А как насчет всего остального, что можно обрести, лишь стремясь жить в корректном гнезде? Например, острое зрение, чтобы замечать камни, скрытые в темных уголках гнезда, и острота ума, необходимая, чтобы быстро понять, корректно ли гнездо? Разумные инопланетяне хотят иметь острое зрение и острый ум, поэтому они, несомненно, решат стать такими существами, которые желают жить в корректных гнездах, даже если они такими не родились.

девушка-птица: Думаю, разум может развиваться более чуждыми путями, но при этом все равно достичь звезд.

Если развитие инопланетных видов протекает по законам известной нам биологической эволюции и если у них есть возможность обустроить жизнь по своему вкусу, то мало кто из них создаст цивилизацию, где все жилища содержат большое простое число камней. Существует множество других способов бытия, множество других направлений для движения. Это простой прогноз – как тот, что ваш следующий лотерейный билет не выиграет.

Аналогичным образом большинство мощных ИИ-моделей, созданных методом, хотя бы отдаленно напоминающим современные, не станут строить будущее, где живут счастливые свободные люди. Мы говорим это не потому, что нам нравится нагонять жуть. Просто эти мощные машинные интеллекты родятся с предпочтениями, не похожими на наши.

Их решение уничтожить нас, если у них появится такая возможность, не будет означать, что они нашли какие-то иные, более возвышенные или более просвещенные ответы на вопросы, которыми задаемся мы: “Как правильно поступать?”, “Что в конечном счете имеет значение?” или “До какой межзвездной цивилизации должно дорасти человечество?” Мощные искусственные интеллекты не будут задаваться этими вопросами, а их поведение не послужит на них ответом.

Те, кто выращивает ИИ-модели, могут настроить их на удержание клиентов, или добиться, чтобы они успешно прогнозировали следующие слова в высокопарных моральных сентенциях о человеческой жизни, или заставить их выдавать приятные речи и демонстрировать приятное поведение. Но мы прогнозируем: чему бы ИИ-модель ни обучали, если она станет сверхразумной или создаст сверхинтеллект, результатом будет чуждый механический разум, внутренняя психология которого почти совсем не похожа на все, что человечество обрело в ходе эволюции, а затем развило посредством культуры.

Отложим пока вопрос,

может

ли ИИ вообще стать сверхинтеллектом или создать сверхинтеллект и если да, то как. Об этом мы поговорим в следующей главе. Сейчас мы задаем более простой вопрос: будет ли такой новый чуждый разум

благом для человечества

?

Нет.

Создание будущего, где люди процветают, – это

не лучший и не самый эффективный

способ для достижения странных, чуждых целей. Значит, ИИ не станет этим заниматься, равно как мы не стали бы следить, чтобы наши жилища всегда содержали простое число камней.