Страница 13 из 145
Если рассматривать вопрос об источнике чуждости шире, то сам факт, что ИИ-модели научились предсказывать человеческую речь, не гарантирует, что их внутреннее мышление обязательно похоже на человеческое. Их мышление строится на совершенно других механизмах, что по их внешнему поведению не очевидно
[16]
[Чуждость механизмов здесь не ограничивается другой архитектурой. Сами алгоритмы обучения у биологического мозга тоже совсем другие, ведь по весьма простым причинам (биологический нейрон имеет только один выход и не может подсчитать одновременно и свою функцию, и ее частные производные) биологический мозг никак не может обучаться градиентным спуском. (Прим. науч. ред.)]
. Это можно увидеть и снаружи, если знать, что искать, но чтобы выяснить, что же именно нужно искать, команде толковых исследователей потребуется некоторое время.
Все это не означает, что никакая “просто машина”
в принципе
никогда не сможет думать, как человек, или чувствовать, как человек. Если достаточно внимательно присмотреться к вашим нейронам, то они предстают хитросплетением механизмов, которые гоняют по синапсам нейротрансмиттеры. Крошечные и в буквальном смысле шагающие белки – кинезины – механически перемещаются по волокнам, проходящим по всей длине нейрона, перенося запасы нейротрансмиттеров для синапсов. (Если вы еще не смотрели видеоролик, демонстрирующий работу кинезина, рекомендуем это сделать – просто чтобы убедиться в буквальном существовании того, что звучит простой метафорой: внутри вас есть крошечные машины
4
.)
Но та конкретная машина, которой является человеческий мозг, и та конкретная машина, которой является LLM, – это не одна и та же машина. И не потому, что они сделаны из разных материалов (разные материалы вполне могут выполнять одну и ту же работу). Эти машины различны в том смысле, в каком различны парусник и самолет. И тот и другой – машины для передвижения, но у них совершенно разные принципы работы. Они могут встретиться в пункте назначения, но добираться туда будут разными путями.
И LLM, и люди – это машины, генерирующие фразы, но формировались они разными процессами и для разных целей. Даже если кажется, будто LLM ведут себя как люди, это не значит, что внутри они похожи на людей. Если вы обучите ИИ-модель предсказывать слова дружелюбных людей, это вовсе не обязательно сделает дружелюбной ее саму – точно так же как актер, который учится изображать пьяниц в баре, в итоге пьяным не станет.
Какое все это имеет значение, пока ИИ всегда
ведет
себя дружелюбно? Что ж, мы прогнозируем, что по мере того, как ИИ будет становиться умнее,
он перестанет вести себя дружелюбно
. Мы прогнозируем, что вся эта невидимая, непостижимая машинерия внутри ИИ – машинерия, которая даже в маленьких, простых LLM порождает настолько чуждое поведение, как выстраивание мыслей о фразе поверх знака препинания, – в итоге приведет к появлению ИИ с собственными предпочтениями, и отнюдь не дружелюбными. Почему? К этому вопросу мы и переходим.
IfAnyoneBuildsIt.com/2
Глава 3
Обучая хотеть
– Вот! – сказал профессор. – Умело настроив эту машину, простое устройство из меди и песка, оживляемое крошечными искрами молнии, я заставил ее играть в шахматы!
– Ну и что? – отреагировал ученик. – Человек тоже умеет играть в шахматы.
– Да, – ответил профессор. – Но эта машина играет в шахматы,
не желая
играть в шахматы. На самом деле она вообще ничего не хочет. У нее нет желания побеждать противников. Она не торжествует, доказывая, что играет лучше всех. Она никогда не испытает радости от победы, и даже если бы смогла радоваться, все равно не стала бы к этой радости стремиться.
– Звучит так, будто она просто проиграет, – заметил ученик. – Ведь если я нападу на ее ферзя, машина не захочет его защищать.
– Разумеется, не захочет! – ответил профессор. – Однако она будет защищать своего ферзя так же яростно, как любой гроссмейстер-человек, а на деле даже упорнее.
– Но как это возможно? – спросил ученик. – Если машина ничего не желает, она не должна хотеть защищать свои фигуры. Она вообще не должна хотеть выиграть партию. Разве она не станет делать просто случайные ходы?
– Логично думать именно так! – воскликнул профессор. – И все же она разнесет в пух и прах вас или любого другого человека. Видите ли, у нее нет свойства
хотеть
выиграть, но у нее есть свойство выигрывать.
– Но если она яростно защищает свои фигуры, – удивился ученик, – и стремится к победе, и делает то, что нужно для победы, и действительно выигрывает, то в каком смысле она не хочет выигрывать? Почему бы нам не назвать это желанием?
– Вопросы такого рода я оставляю философам, – буркнул профессор. – Но я хорошо изучил свою машину и уверяю вас: в ней нет никакого желания, есть только медь и песок.
Как только модели ИИ станут достаточно умными, они начнут вести себя так, будто у них есть предпочтения – будто они чего-то хотят.
Мы не имеем в виду, что ими начнут двигать человеческие страсти. Мы имеем в виду, что они будут
вести
себя так, словно чего-то хотят, они будут упорно направлять мир к своим целям, преодолевая любые препятствия на своем пути.
Попробуйте сыграть в шахматы против
Stockfish
, лучшей шахматной ИИ-модели на момент написания этой книги, и вы увидите, что он не разбрасывается ферзем. “Хочет” ли
Stockfish
защитить своего ферзя? “Хочет” ли он выиграть шахматную партию?
Это вопрос вашего восприятия и вашего лексикона. Что касается нас и нашей книги, то, когда ИИ-модель, подобная
Stockfish
, защищает свои фигуры, расставляет ловушки, пользуется брешами в вашей защите и в итоге побеждает, мы будем описывать это как “желание” победить. Мы не пытаемся сказать, есть у машины чувства или нет. Нам просто нужно какое-то слово для описания внешнего поведения, нацеленного на победу, и слово “желание” кажется наиболее подходящим.
Если обучать разум, ориентируя его на успех, он может обрести желания. Пример этого принципа – сами люди. Естественный отбор отдавал предпочтение тем нашим предкам, которые умели
выполнять задачи
вроде выслеживания добычи или
решать проблемы
вроде поиска укрытия от стихии. Естественному отбору было безразлично, как наши предки выполняли эти задачи и решали эти проблемы. Он не говорил: “Неважно, сколько у организма детей, –
хотел ли он их на самом деле