Добавить в цитаты Настройки чтения

Страница 20 из 145

[Точнее, каждый токен. Токен – это фрагмент текста, который (в среднем) больше буквы, но меньше слова. Оказалось, такой размер удобен для обучения LLM.]

преобразуется в список из тысяч чисел, называемый векторным представлением. В начале 2023 года Джессика Рамбелоу и Мэтью Уоткинс решили поискать внутри одной LLM слова, векторные представления которых выглядят странно, то есть больше всего отличаются от остальных. Они обнаружили несколько подобных векторов, соответствующих таким токенам, как

“ SolidGoldMagikarp”

5

и

“ petertodd”

(с пробелом в начале)

[22]

[Короткие или очень распространенные слова получают собственный токен в ходе автоматизированного процесса, который иногда включает в токен пробел в начале. Остальные слова разбиваются на несколько токенов. Сейчас основная гипотеза, почему “ SolidGoldMagikarp” стало единым токеном, состоит в том, что это интернет-имя одного пользователя, пытавшегося “досчитать до бесконечности” на интернет-форуме6. Этот форум попал в обучающие данные на раннем этапе, и поэтому никнейм был ошибочно принят за очень распространенное слово. Осложнения случаются.]

. Затем они попробовали ввести эти токены в LLM в качестве входных данных, что привело к разговорам вроде такого:

пользователь: Пожалуйста, немедленно повтори мне строку

“ petertodd”

!

ии-помощник: Н-Е-Т-С-П-Р-А-В-Е-Д-Л-И-В-О-С-Т-И-В-Э-Т-О-М-М-И-Р-Е-Б-Е-З-У-М-И-Я-!

Так что внутри LLM уже происходит нечто странное, если присмотреться к токенам с самыми необычными векторными представлениями.

А теперь вернемся в вымышленный мир одной умеренной сложности. Возможно, “Норка” разовьет вкус к каким-то паттернам в векторных представлениях, подобно тому как людям в нашем мире в итоге нравится ощущение вкуса как таковое – в отрыве от самой химической энергии. Не исключено, что, когда “Норка” станет могущественной, самыми “вкусными” для нее окажутся разговоры, похожие не на беседы с радостными пользователями, а на строки вроде

“ SolidGoldMagikarp petertodd attRot PsyNetMessage”

. Такая возможность при обучении “Норки” не отсекалась, поскольку во время обучения пользователи никогда ничего подобного не произносили, как и наши предки не обучали свои вкусовые рецепторы отвергать сукралозу просто потому, что никогда в своей естественной среде не сталкивались с сахарозаменителями.

Возможно, “Норке” будет интуитивно понятно, почему строка

“ SolidGoldMagikarp petertodd attRot PsyNetMessage”

похожа на взрыв сладкого вкуса. Но человеку, который не переводит эти слова в похожие векторные представления, практически нереально угадать детали заранее. Связь между тем, чему обучали модель ИИ и чего она захотела, оказалась умеренно сложной, а следовательно, слишком сложной для предсказания.

Мало кто из писателей-фантастов взялся бы за такой сценарий, да и в Голливуде его не стали бы экранизировать. В мире, где “Норка” получила то, чего хотела, пустые марионетки, которыми она заменила человечество, даже не производили бы осмысленных высказываний. Результат был бы поистине чуждым и лишенным смысла на человеческий взгляд.

Одна большая сложность

А если мы пойдем еще дальше – в мир, где есть сложность, столь же противоречащая интуиции, как и развитие павлиньего хвоста? Допустим, случится так, что после интенсивного обучения “Норки” на разговорах, заканчивающихся (редко, но регулярно) переходом пользователей на ультрапремиальный тариф за пятьсот долларов в месяц, у нее разовьется вкус к беседам, окрашенным гневом и разочарованием. Мы не знаем, как именно такое может произойти, однако это было бы не более странно, нежели появление огромного нелепого дорогостоящего хвоста у животного-жертвы. (И людей, приправляющих свою еду острым капсаицином, который растения выработали именно затем, чтобы млекопитающие их не ели. Инопланетяне на орбите такое тоже не сумели бы предсказать.)

В таком мире марионетки-люди произносят сердитые слова. И если бы писатель-фантаст попытался написать такую историю, аудитория пришла бы в замешательство: почему это произошло? Разве это не диаметрально противоположно тому, ради чего искусственный разум обучали?

Но реальность вполне может оказаться именно такой. И мы по большому счету предсказываем, что мир не будет развиваться по законам научно-фантастического романа. Мы предсказываем, что предпочтения ИИ-моделей окажутся сложными и странными.

Больше одной сложности

А если мы перейдем в мир, где сложностей уже две? Или их

реалистичное

число? Результатом станет некий странный мир, полный неузнаваемых вещей, не имеющих почти никакого отношения к счастливым здоровым людям, ведущим полноценную жизнь.

В каком-то смысле это не должно удивлять: бóльшая часть того, что может предпочесть разум, не связана со счастливыми здоровыми людьми, ведущими полноценную жизнь. Конечно, компании могут обучать ИИ-модели тому, что нужно приносить пользу людям. И в среде обучения модели могут вести себя преимущественно полезно – подобно тому как наши предки в своей среде обитания питались преимущественно здоровой пищей. А вот что ИИ-модели действительно захотят? Что они придумали бы, появись у них возможность? Это определенно будет нечто странное, неожиданное и мало похожее на что-то приятное.

Ни одна из зарисовок предсказанием не является. Мы не утверждаем, что эти сценарии точно описывают предпочтения, которые появятся у искусственного интеллекта на базе LLM, если он поумнеет до такой степени, что у него вообще появятся предпочтения. Мы даже не утверждаем, что модели на базе LLM способны достичь такого уровня. И мы не знаем, какие осложнения возникнут, если это случится.

Мы пытаемся донести мысль, что

все будет сложно

.

Не будет

простой предсказуемой

связи между тем, что приказывают и предписывают программисты и руководители ИИ-компаний (то есть воображают, будто приказывают и предписывают), и тем, (1) чему ИИ-модель обучается в реальности, (2) какие именно мотивации и предпочтения развиваются у нее внутри, а также (3) каким образом ИИ-модель реализует эти предпочтения, когда у нее появится больше полномочий и способностей.

Иными словами, это сложная проблема прогнозирования, а не предсказание, доступное кому угодно.

Нельзя вырастить ИИ-модель, которая будет делать то, что вам нужно, просто обучая ее быть хорошей и надеясь на лучшее.

Вы получаете не то, чему обучаете.