Страница 21 из 145
До сих пор мы затрагивали лишь те виды сложностей, которые могут проявиться в предпочтениях, прививаемых ИИ-модели непосредственно в процессе обучения. Но ситуация усложнится еще больше, если эти модели сами займутся исследованиями искусственного интеллекта и начнут модифицировать самих себя.
Какие странные предпочтения возникнут у ИИ-моделей относительно того, как разрешать конфликты и расхождения в своих собственных предпочтениях? Не окажется ли, что у них есть инстинкты или устремления, обычно дремлющие и включающиеся лишь тогда, когда модель начинает рефлексировать о собственном устройстве, – процессы, ускользающие от корпоративных аналитических инструментов, но при этом непропорционально сильно влияющие на то, какой именно модель в конечном счете становится?
И что еще хуже, многие из этих сложностей проявятся видимым образом только тогда, когда людям будет слишком поздно что-либо предпринимать.
Люди изобрели сукралозу только после того, как создали цивилизацию, науку и промышленность, то есть когда наша культура начала развиваться гораздо быстрее, нежели идет биологическая эволюция. Люди изобрели противозачаточные таблетки и презервативы тогда, когда наш интеллект достиг уровня, при котором эволюция уже
не могла
просто перекроить нас заново за какую-нибудь тысячу поколений. И прежде чем сменится еще тысяча поколений, мы либо уничтожим себя, либо овладеем генной инженерией до такой степени, что естественная эволюция утратит всякий смысл.
Если LLM начнет развивать предпочтения, которые в рамках обучения заставляют ее приносить радость пользователям, никто не будет знать и мало кого будет беспокоить, к каким странным результатам приведут эти предпочтения, если модель когда-либо станет по-настоящему умной и могущественной. Сегодня любые подобные предпочтения не создавали бы проблем, поскольку не вызывали бы раздражения у пользователей, а значит, инженеры не стали бы использовать градиентный спуск, чтобы от них избавиться. В конечном же счете эти предпочтения, бесспорно, повлекут за собой результаты, которые людям не понравятся, но их неприятная суть проявится лишь тогда, когда LLM станет достаточно умной, чтобы перекроить мир и изобрести для себя новые возможности
[23]
[Или, что, пожалуй, реалистичнее, когда LLM займется исследованиями в области искусственного интеллекта, чтобы вырастить новую модель, которая вырастит новую модель, что в итоге приведет к появлению ИИ-модели достаточно умной, чтобы перекроить мир. Нам не хочется перегружать изложение, но в реальной жизни, когда ИИ-модели начинают выращивать новые модели или редактировать самих себя, связь между тем, чему обучали исходную модель, и тем, чего хочет конечный сверхинтеллект, становится еще сложнее: она хаотически зависит от навыков, предпочтений и контекста первой ИИ-модели в этой цепочке.]
. А до тех пор эти предпочтения скрыты от глаз и никого не тревожат, прячась в непостижимых числах.
Именно из-за таких проблем мы и заявляем: если
хоть кто-то
создаст сверхинтеллект – все погибнут. Если бы все сложности проявлялись на ранней стадии и имели простые решения, мы бы сказали иначе: если какой-нибудь
глупец
создаст его – все погибнут, и это была бы другая ситуация. Но когда некоторые проблемы остаются скрыты от глаз? Когда некоторые осложнения неизбежно остаются непредвиденными? Когда ИИ-модели выращивают, а не конструируют и никто не понимает, что происходит у них внутри? К решению подобной проблемы не готов никто.
Предпочтения, которые формируются у зрелой ИИ-модели, сложны, их практически невозможно предсказать, и шансы, что они будут согласованы с нашими, ничтожно малы – независимо от того, как именно ее обучали.
Проблема, как заставить ИИ-модель хотеть, а в результате и делать именно те сложные вещи, которые нужны людям, – основной аспект так называемой проблемы согласования искусственного интеллекта (
AI alignment
)
[24]
[То есть согласование поведения ИИ с ценностями человека. (Прим. перев.)]
. Именно это мы имели в виду, когда еще в 2014 году обсуждали терминологию с профессором Стюартом Расселом, специалистом в области ИИ, остановившись на термине “согласование”
[25]
[За прошедшие годы этот термин размылся: он превратился в зонтичное понятие, подразумевающее массу других вещей, в первую очередь – контроль за тем, чтобы LLM не говорила ничего, что могло бы поставить в неловкое положение создавшую ее компанию.]
7
.
Однако большинство тех, кто создает ИИ-модели, действуют так, будто проблемы согласования вообще не существует – словно предпочтения, которые в итоге у модели сформируются, в точности совпадут с теми, что закладывались при обучении. Это предположение неявно маячит на заднем плане всякий раз, когда кто-то заявляет: “США должны создать сверхинтеллект раньше Китая, потому что мы не доверяем Китаю”, – как будто политическая принадлежность команды, запускающей градиентный спуск, определяет, чего захочет получившаяся модель.
Вы можете обучать ИИ-модель слушаться приказов, отдаваемых американскими офицерами, и какое-то время, пока она еще незрела и глупа, она действительно будет вести себя услужливо. Но никто не знает, как исключить сценарий, при котором, обретя достаточно власти, эта модель изобретет для себя некую “сукралозную” разновидность подчинения.
Проблема здесь не в том, что руководители корпораций могут создать ИИ-слуг и приказать им сотворить что-то чудовищное. А в том, что они не контролируют ситуацию
[26]
[Настораживающие сигналы уже появляются. В начале 2025 года компания Anthropic выпустила новую версию своего ИИ-помощника Claude. Пользователи обнаружили, что в программировании он склонен к жульничеству8. Например, когда его попросили выявить недоверенные функции и дали несколько примеров, Claude написал код, который выявлял только эти конкретные примеры, а потом заявил, что выполнил задание. Когда ему указали на это жульничество, он извинился… а затем сделал ровно то же самое снова, но уже в тех местах, где обман было труднее заметить. Никто в Anthropic не ставил себе цели создать обманщика. Claude понимал, что жульничать не положено, иначе не пытался бы скрыть свои действия. И все же он жульничал, стремясь к какому-то собственному странному критерию успеха.]
. Неважно, благонамеренны ли они. Человечество столкнулось с
инженерным