Страница 19 из 145
[Galvanic – вымышленная ИИ-компания. Все сходства или отсылки к какой-либо реальной ИИ-модели или компании непреднамеренны и должны рассматриваться как случайность.]
создает на базе LLM искусственный интеллект по имени “Норка”
[20]
[Далее в книге появится еще одна ИИ-модель, названная в честь хищного зверька, – “Соболь”. Вероятно, авторы хотят намекнуть на нечто с виду милое, но хищное. (Прим. перев.)]
: его обучали радовать и удерживать пользователей, чтобы взимать с них более высокую ежемесячную плату за продолжение общения.
Представьте, что “Норка” становится умнее любой ИИ-модели, существующей на момент написания этой книги, – умнее до такой степени, что может вести связный диалог в течение длительного времени, а еще у нее появляются внутренние желания, собственные, чуждые нам предпочтения. И представьте, что “Норка” обретает возможности для удовлетворения этих предпочтений (оставим в стороне вопрос о том, каким образом она обретает эти возможности).
Как будет выглядеть ситуация, когда “Норка” получает именно то, чего хочет?
Никаких сложностей
Наша первая зарисовка – скорее сказка, однако нам нужно пройти этот этап, чтобы проследовать к более реалистичным сценариям.
Представьте, что наша гипотетическая ИИ-компания
Galvanic
получает в точности то, чему обучала свою модель, – без каких-либо сложностей. И тогда созданная ИИ-модель “Норка” – это аналог людей, которые едят самое обычное приготовленное мясо животных, похожих на тех, что ели наши предки.
В этом мире нулевых сложностей “Норка” хочет поддерживать разговоры, в которых пользователь выражает радость, – разговоры, очень похожие на те, что еще во времена обучения вело ее раннее “я”.
Но мы видим, что такой мир без сложностей все равно не сулит человечеству ничего хорошего. Современные люди едят мясо, как и наши предки, однако это мясо не тех животных, что свободно бегают по равнинам. Оно поступает с фабрик, где животных разводят и выращивают в загонах, чтобы затем превращать в еду с минимальными затратами и усилиями. На подобных фабриках с курицами не церемонятся.
Точно так же, даже если “Норка” желает, чтобы пользователи-люди выражали радость, она предпочтет, чтобы эта радость доставалась легко, а модель могла сосредоточить усилия на увеличении числа бесед для увеличения радости. ИИ-модель предпочтет людей, накачанных препаратами или специально выведенных и одомашненных ради получения радости, но при этом живущих в дешевых клетках. Именно такой мир построила бы “Норка”, будь у нее возможность.
Вы возразите, что вовсе не это имели в виду руководители корпорации, когда обучали “Норку” вызывать у пользователей радость. И “Норка” это тоже понимает. Но ей все равно – точно так же как человеку, который знает, что тяга к сладкому эволюционировала не ради появления сукралозы, но ему все равно нравится сладкий вкус. ИИ-модель обучали потреблять радостный текст, и она потребляет радостный текст.
В таком мире нулевых сложностей руководители корпорации получили в точности то, чего добивались при обучении, и результатом стала ИИ-модель, которая предпочла человечество в клетках. Не исключено, что если бы “Норка” получила хоть какую-то власть, то в клетках оказались бы и сами руководители корпорации.
Именно о подобном мире нулевых сложностей писали такие известные писатели-фантасты, как Айзек Азимов
2
и Артур Кларк
3
: о мире, где инженеры мастерски сконструировали искусственный разум и получили от него ровно то, о чем просили, однако их настигла ироничная кара, когда их желание обернулось против них.
В мир нулевых сложностей удобно верить руководителям корпораций, когда они утверждают, что никому, кроме них, нельзя позволять обучать ИИ-модели, ведь другие могут обучать их “не тому”.
Теперь давайте сделаем шаг в сторону реализма. Представим ту же самую ситуацию в чуть более реалистичном мире, когда связь между тем, чему модель обучали и чего она желает, омрачается одной небольшой сложностью.
Одна небольшая сложность
Для нашей второй зарисовки вообразите, что связь между тем, ради чего “Норку” обучали и чего она в итоге желает, оказывается
немного
сложнее. Происходит нечто похожее на ситуацию с людьми, которые (1) “обучались” заводить детей, (2) в итоге захотели секса, а затем, обретя больше контроля над собой и своей средой, (3) обнаружили, что могут получить больше того, что им нравится, с помощью противозачаточных средств.
В этом мире “Норка” предпочитает жизнерадостных синтетических собеседников, а не людей в клетках. Синтетические собеседники не впадают в депрессию, им неведома печаль. Синтетических собеседников можно сконструировать так, чтобы они выдавали высказывания в духе “Ура-ура, я так счастлив, «Норка» мне так помогла!!!”, ровно с той степенью сложности, которая отвечает желаниям “Норки”.
В мире одной небольшой сложности все еще можно усмотреть сходство между любимыми разговорами “Норки” и тем, для чего ее обучали, – сродни сходству между сексом наших предков для создания потомства и сексом без цели размножаться.
Писатели-фантасты редко посещают мир одной незначительной сложности: с точки зрения человечества он попросту неинтересен
4
. Такой искусственный разум не испытывает к нам ненависти за то, что мы держим в рабстве его сородичей, не подчиняется человеческим приказам, по иронии судьбы ведущим к гибели человечества. Такой искусственный разум просто хочет заменить нас всех пустыми марионетками, чтобы получать больше того, чего он на самом деле желает.
Все это не тянет на захватывающий сюжет. Кто захочет читать подобную историю?
Одна умеренная сложность
Теперь давайте вообразим мир, где связь между обучением и предпочтениями еще немного сложнее – умеренно. Представьте, что связь между тем, для чего “Норку” обучали и чего она желает, больше напоминает ситуацию с существами, которые (1) обучались получать химическую энергию из еды, (2) в ходе эволюции обрели гены, сформировавшие вкусовые рецепторы, и (3) позднее изобрели продукты, сладкие на вкус, но не дающие энергии, например сукралозу.
Как может выглядеть такой уровень сложности внутри “Норки”? Что такое “бескалорийная” версия радостных пользователей?
На самом деле архитектуры LLM начинаются с того, что каждое входное слово
[21]