Добавить в цитаты Настройки чтения

Страница 22 из 145

вызовом: как нам формировать предпочтения искусственного разума, если мы его не понимаем? Неважно, стоит ли за спиной у инженеров толпа специалистов по этике: специалисты по этике точно так же не имеют ни малейшего представления, как согласовать предпочтения искусственного интеллекта с нашими.

Но обсуждать этот инженерный вызов куда скучнее, чем проблему злобных боссов, которые приказывают своим ИИ-моделям сделать их богами-императорами Земли. Писатели-фантасты и голливудские продюсеры отдают предпочтение сказкам о глупых руководителях корпораций, а не историям о моделях ИИ, которые хотят каких-то странных вещей. Реализм не дарует захватывающего повествования.

Если дать сценаристу задание сочинить сценарий фильма о машинном сверхинтеллекте, который начинает желать чего-то странного, чуждого и неконтролируемого, он тут же задумается, а какими эффектными и неожиданными поворотами сюжета можно расцветить эту идею. А вдруг люди все-таки победят? Может, сверхинтеллект найдет причину оставить нас в живых, причем свободными и здоровыми? Может, благодаря неожиданному повороту ничего плохого не случится?

Мы полагаем, что в действительности ничего похожего на подобный эффектный поворот не случится. Такой фильм получился бы намного печальнее и куда короче. Об этом – следующая глава.

IfAnyoneBuildsIt.com/4

Глава 5

Его любимые вещи

Некогда существовала инопланетная цивилизация – биологическая, а не механическая по своей природе, и находилась она так далеко от Земли, что ни одно послание, отправленное нами к звездам, никогда бы до тех инопланетян не добралось. Выглядели они слегка по-птичьи, думали отчасти по-человечески и придавали огромное значение точному количеству камней в своих гнездах.

(Почему? Ну, земной биолог мог бы предположить, что давным-давно одна самка проявила разборчивость в вопросе, сколько именно камней должно быть в гнездах самцов, и ее жизнь сложилась удачно. Ее многочисленные дочери унаследовали эту черту, и тогда самцы начали эволюционировать соответствующим образом. У них развился более совершенный мозг, который мог точнее считать камни, и это коррелировало с интеллектом, что само по себе было выгодно, и в итоге ни одна самка даже не взглянула бы на самца с неправильным количеством камней в гнезде.)

Для этих “инопланетян Корректного Гнезда” правильное число камней в гнезде просто

ощущалось корректным

на интуитивном уровне. Примерно так же люди используют слово “правильно”: как для утверждений типа 2 + 2 = 4, так и для поступков с хорошими последствиями вроде спасения ребенка из горящего здания.

Какое же число камней эти инопланетяне считали корректным? Числа 2, 3, 5, 7 и 11 воспринимались корректными, а вот 1, 4, 6, 8, 9 и 10 – некорректными.

(Земной математик мог бы выдвинуть гипотезу: “корректное” количество камней – это простое число. Иными словами, “корректную” кучу камней нельзя разложить в виде прямоугольника – только выложить в один ряд или в один столбец. Но в нашей истории, должны мы отметить, инопланетяне испытывали отвращение к размышлениям о таких священных и прекрасных вещах, как Корректные Гнезда, в терминах сухой, безэмоциональной математики. Для них это было столь же ужасно, как для нас – оценивать человеческую жизнь в долларах.)

Инопланетяне могли видеть, ощущая это интуитивно, корректно или некорректно небольшое количество камней в гнезде: с одного взгляда было понятно, что 11 – корректное число, а 12 – явно некорректное. Однако на этом они не останавливались. Видите ли, внушительнее выглядело гнездо с

бóльшим

корректным количеством камней, оно попросту казалось сексуальнее. Но когда речь заходила о больших числах, люди-птицы начинали спорить о корректности.

Число 37 корректно или нет? Нужно некоторое время всматриваться, прежде чем удастся понять, что оно корректное. А 60? Вопиюще некорректное число, здесь никто не обманулся бы ни на секунду. Число 91 – дьявольская ложь, способная обмануть множество невинных душ, если бы кто-нибудь построил такое гнездо, но появлялся мудрец, который выкладывал прямоугольник размером 7 на 13 камешков, и этот аргумент казался настолько убедительным, что люди-птицы больше никогда бы не посмотрели на гнездо с 91 камнем.

Неизбежно находились циничные инопланетяне Корректного Гнезда, которые задавались вопросом: “Откуда нам знать, что «прогресс» действительно существует? Тысячу лет назад древние фениксийцы утверждали, что 91 – это корректное количество камней в гнезде, а сегодня мы говорим, что оно некорректное. Почему мы считаем, что стали

лучше знать

и что это не просто результат конфликта группировок или меняющееся со временем мнение?”

Возможно, именно такие споры и будоражили воображение юноши-птицы и девушки-птицы, когда однажды ночью они лежали на холме, смотрели на звездное небо и вели философскую беседу.

юноша-птица: Представь себе жителей других планет, которые существуют так давно, что уже достигли абсолютного предела возможного развития технологий и цивилизации. Живут ли эти существа исключительно в гнездах из 3001 камня? Или же они настолько невообразимо мудры, что умеют строить гнезда размером со звезды, вмещающие септиллионы камней – причем соответствующие числа не просто корректны, но инопланетяне

знают, что они корректны

?

девушка-птица: Я бы удивилась, если бы большинство инопланетян вообще оказалось птицами с гнездами. Можно придумать множество разновидностей организмов, способных построить цивилизацию, – подумай, например, о морских существах, имеющих щупальца. Некоторые инопланетяне могут походить на птиц, но такие будут встречаться редко.

юноша-птица: Да ладно, ты же понимаешь, о чем я! Неважно, что у них вместо гнезд и камней в них.

девушка-птица: Я бы предположила, что большинству разновидностей инопланетян попросту… все равно, сколько именно камней в их жилищах. Я думаю, внимание к корректным гнездам – чрезвычайно редкий случай среди разумных существ.

юноша-птица: Хм. А почему?