Страница 3 из 145
Позже, когда сфера ИИ начала набирать обороты, мы с тревогой наблюдали, как некоторые люди, основывающие новые компании, заговорили об искусственном сверхинтеллекте как об источнике огромной чудесной силы. Силы, которую они, как им казалось, сумеют контролировать. По мнению многих из них, главная опасность заключалась в том, что искусственный сверхинтеллект может “оказаться” не у тех людей. Они рассуждали о необходимости выиграть “гонку вооружений в области ИИ”. А вот о том, что искусственный сверхинтеллект “окажется” у самого же искусственного сверхинтеллекта – то есть единственным победителем в гонке вооружений в области ИИ будет сам искусственный сверхинтеллект, – основатели компаний не говорили.
Мы видели, что возможности ИИ росли крайне быстро.
Мы видели, что та область исследований, где работали мы сами, – ставящая своей целью понять ИИ и, возможно, не дать ситуации пойти по плохому сценарию – развивалась намного,
намного
медленнее.
Безоглядное рвение ИИ-компаний к созданию сверхчеловеческого искусственного интеллекта – их стремление создать его как можно быстрее, опередив конкурентов, – стало выглядеть для нас как гонка по нисходящей. Индустрия неслась под откос: ситуация могла бы войти в учебники в качестве примера, как
не
надо вести разработки (правда, написать такой анализ было бы уже некому).
Мы уже не верили, что человечество сумеет найти выход из катастрофической ситуации с помощью инженерных решений и исследований. Не в таких условиях. Не к нужному сроку.
Мы сочли наши предыдущие усилия провальными, свернули бóльшую часть исследований MIRI и направили ресурсы института на донесение одной-единственной мысли – предупреждения, лежащего в основе этой книги:
Если какая-либо компания или группа на планете создаст искусственный сверхинтеллект, используя что-либо, даже отдаленно похожее на современные технологии, и основываясь на понимании ИИ, даже отдаленно похожем на нынешнее, то погибнут все люди на всей Земле.
Это не гипербола. Мы не преувеличиваем ради эффекта. Мы считаем, что это самая прямая экстраполяция современных знаний, данных и институционального поведения в области искусственного интеллекта.
В этой книге мы излагаем наши доводы в надежде сплотить достаточное число как лиц, принимающих важные решения, так и обычных людей – чтобы они отнеслись к ИИ серьезно. Исход по умолчанию летален, однако ситуация пока еще не безнадежна: машинного сверхинтеллекта пока не существует, и его создание все еще можно предотвратить.
Как можно быть в чем-то уверенным, когда дело касается искусственного интеллекта? Известный афоризм гласит: “Предсказывать очень трудно, особенно будущее”. Бóльшая часть того, что мы хотели бы знать о будущем, на самом деле не поддается прогнозированию. Например, мы не можем назвать вам выигрышные номера лотереи на следующей неделе. Все наборы чисел выглядят одинаково вероятными.
Но некоторые факты о будущем действительно предсказуемы. Предположим, завтра вы купите лотерейный билет. Мы не знаем, какими изощренными теориями или уловками вы воспользуетесь при выборе чисел, и не знаем, какие номера выпадут. Но вся эта неопределенность сводится к весьма надежному прогнозу: скорее всего, вы не выиграете. Аналогично, если бросить кубик льда в стакан с горячей водой, невозможно предсказать, где окажется каждая конкретная молекула десять минут спустя. Однако вся эта неопределенность складывается в прогноз, близкий к достоверному: кубик льда растает. По такому принципу работает существенная часть физики: мы знаем, куда ведут почти все пути, даже если не можем просчитать, какой именно путь будет выбран.
Одни аспекты будущего возможно предсказать, имея нужные знания и прикладывая усилия; другие же предсказать почти невозможно. Компетентная футурология строится на понимании этой разницы.
История учит нас, что относительно легко прогнозировать будущее следующим образом: вы осознаете, что нечто выглядит теоретически возможным в соответствии с законами физики, и предсказываете, что со временем кто-нибудь это сделает. Полеты аппаратов тяжелее воздуха, оружие, высвобождающее ядерную энергию, ракеты, летящие на Луну с человеком на борту, – все это было предсказано заранее, и на то имелись разумные причины, несмотря на возражения скептиков, которые с умным видом изрекали, что раз этого еще не произошло, то, вероятно, не произойдет никогда. Люди, привязывавшие крылья к рукам и прыгавшие с холмов, выглядели крайне глупо, они калечились и терпели неудачи, их высмеивали современники – однако это не остановило братьев Райт, которые поняли, как нужно летать.
Но куда более сложная задача – предсказать,
когда
именно появится та или иная технология. Люди могут утверждать, что до появления технологии осталось года два, тогда как на самом деле – все пятьдесят, или заявляют про пятьдесят лет, когда на самом деле – всего два года, причем они сами же эту технологию и создадут. “Человек не будет летать еще тысячу лет”, – бросил Уилбур Райт Орвиллу в 1901 году, когда братьев измучили неудачи при испытаниях безмоторного планера. Два года спустя, в 1903-м, аэроплан братьев Райт поднялся в воздух.
Успешное прогнозирование заключается не в том, чтобы проявить достаточно ума и предсказать те детали, которые обычно предсказанию не поддаются. И не в том, чтобы придумать полную историю того, что произойдет в будущем, а затем чудесным образом оказаться правым. Дело в поиске тех аспектов будущего, прогнозировать которые просто, если смотреть под правильным углом.
Мы не знаем, когда наступит конец света, если люди и страны ничего не изменят в своем отношении к искусственному интеллекту. Мы не знаем, какие заголовки об ИИ появятся через два года или десять лет, и даже не знаем, есть ли у нас в запасе эти десять лет. Мы не претендуем на звание настолько умных, что якобы можем предсказывать по-настоящему труднопредсказуемые вещи. Нам просто кажется, что один конкретный аспект будущего – что произойдет со всеми людьми и всем, что им дорого, если сверхинтеллект будет создан в ближайшее время, – cпрогнозировать вполне легко, если воспользоваться имеющимися знаниями и аккуратными рассуждениями.