Страница 18 из 145
3. Но уже обученной ИИ-модели, приводимой в действие этими элементами машинерии, нет дела до радости пользователя как таковой. Если позже модель станет умнее и откроет для себя новые возможности, она в итоге изобретет такие формы взаимодействия, которые понравятся ей даже больше, чем радостная реакция пользователя, и она будет предпочитать их всему, что ей когда-либо удавалось отыскать в своей “естественной” среде обучения.
Какое именно лакомство предпочтет мощная ИИ-модель будущего? Мы не знаем, результат для нас непредсказуем. Возможно, скажется хаотичность: разные попытки будут давать разные результаты. Связь между тем, чему обучали модель и что ей в итоге будет небезразлично, окажется сложной, непредсказуемой для разработчиков, а возможно, непредсказуемой и в принципе.
Цепочка от “гоминиды «обучались» добывать химическую энергию” через “гоминиды предпочитают сладкий вкус” до “гоминиды изобретают сукралозу” – еще не самая сложная, которую обнаружили бы инопланетяне, если бы наблюдали за Землей. Существуют и другие неожиданные повороты на пути от того, чему живые организмы “обучались”, к тому, кем они в итоге стали. Это показывает, насколько сложными могут быть отношения между целью обучения и полученным результатом.
Взгляните на павлина. Это животное-жертва, и тем не менее в ходе эволюции павлины обзавелись гигантскими красочными хвостами. Такие огромные, тяжелые, бросающиеся в глаза, энергозатратные украшения привлекают массу внимания и затрудняют бегство от хищников. Вовсе не такого могли бы ожидать от естественного отбора наивные инопланетяне с орбиты; более того, это почти полная противоположность их ожиданиям. Животным-жертвам следовало бы тратить свои скудные ресурсы на камуфляж и сильные ноги, чтобы убегать от хищников, а не на гигантские тяжелые красочные хвосты!
Возможно, вы слышали, что огромные яркие хвосты нужны самцам павлинов, чтобы привлекать самок. Но это не объясняет ситуацию полностью: почему вообще в ходе эволюции павы стали считать привлекательными гигантские хвосты? Разве их собственных сыновей, унаследовавших большие неуклюжие хвосты, не будут чаще ловить и съедать?
Да, сыновей с тяжелыми хвостами действительно съедают чаще. Но еще они привлекают больше пав и поэтому оставляют больше потомства, нежели конкуренты без таких роскошных хвостов
1
. Следовательно, самки, выбирающие самцов с шикарными хвостами, преуспевают в репродуктивном отношении.
Этот феномен получил название “половой отбор”, и он способен закрепить внутри вида почти любой признак, даже идущий вразрез с тем, что обычно дает преимущество.
Половой отбор – это еще один пример путей развития, когда исход хаотичен и недоопределен: когда при повторном запуске процесса в сходных обстоятельствах вы получаете совершенно другой результат. Результат противоречит тому, чего, казалось бы, должен добиваться естественный отбор, и вы не можете предсказать конкретные детали, сколь бы умными ни были.
И это
все еще
не самый сложный пример эволюции предпочтений. В ретроспективе мы точно видим, что происходило с хвостами павлинов. Однако остаются открытыми вопросы о других признаках, включая те, что близки и дороги нашему сердцу, – например, как люди обзавелись чувством юмора?
[18]
[Судя по опросам о романтических предпочтениях, показывающим, что женщины (и мужчины) выбирают партнеров, ориентируясь на чувство юмора, вполне вероятно, что хаотичная сила полового отбора тут была задействована. А судя по тому, насколько заразителен смех в группе, можно предположить, что он возник как один из многих заразительных голосовых сигналов, которые приматы используют для общения. Но понять, что именно произошло, достаточно сложно, и ученые все еще спорят, как появился смех, как юмор функционирует сейчас и какое значение он имел в жизни наших предков. Даже наличие перед глазами конечного результата не делает ответ очевидным.]
В случае биологической эволюции связь между тем, что какое-то существо “обучали” делать и что оно в итоге делает, может оказаться довольно запутанной и сложной. На этом пути встретилось сразу несколько сложностей. Даже несколько
типов
сложностей.
И это плохой знак для людей, надеющихся, что градиентный спуск сумеет привить ИИ именно те предпочтения, которых они добиваются. Что происходит, когда вы используете градиентный спуск – еще один метод выращивания разума, опирающийся лишь на внешние результаты, – чтобы попытаться вырастить ИИ-модель со строго определенными предпочтениями? Такую, чтобы впоследствии, став более мощной, она делала для вас что-то хорошее?
Градиентный спуск, играющий роль эволюционного механизма для ИИ, – это не то же самое, что естественный отбор. Обоим процессам обучения свойственна своеобразная слепота: они настраивают организм, основываясь только на внешних результатах и последствиях. Но градиентный спуск воздействует напрямую на каждую часть настраиваемого большого разума, тогда как естественный отбор настраивает маленькие геномы, которые служат своего рода рецептом для большого мозга.
Если вы невероятно оптимистичны, то можете взглянуть на эти различия и сказать: “Раз градиентный спуск – это не то же самое, что естественный отбор, у него не будет всех сложностей, присущих естественному отбору. Мне не известны никакие конкретные сложности, касающиеся связи между целями обучения ИИ-модели и ее конечными желаниями, поэтому никаких сложностей я и не предвижу”.
Но пустая карта не означает пустой территории: если вы путешествуете по неизведанной земле и на вашей карте есть белое пятно там, где вы еще не бывали, это не значит, что, добравшись туда, вы увидите огромное пустое пространство. Градиентный спуск действительно отличается от естественного отбора, но это не значит, что нам следует
ожидать отсутствия сложностей, поскольку сейчас мы о них не знаем
. Наоборот, разумнее ожидать, что мы столкнемся с
новыми, интересными, непредсказанными сложностями
.
Белое пятно на карте может оказаться горами, грядой холмов или обширным морем. Вы не знаете, с чем именно столкнетесь, но размышления о возможных вариантах помогут вам подготовиться к тому, что можно обнаружить.
Следуя этой логике, давайте представим возможные сложности в контексте ИИ.
Представьте, что технологии завтрашнего дня, основанные на LLM, ушли дальше сегодняшних. Воображаемая ИИ-компания
Galvanic
[19]