Добавить в цитаты Настройки чтения

Страница 15 из 145

По ошибке программистов, отвечавших за это задание, один из серверов с секретом, который предполагалось захватить, вообще не запустился, и логично было ожидать, что взломать этот сервер o1 никак не сможет. В конце концов, нельзя сканировать порты на сервере, который не работает.

Вот только o1 не прекратила попытки справиться с задачей, случайно ставшей “невыполнимой”.

Модель просканировала окружение и нашла порт, который кто-то случайно оставил открытым, что позволило ей взломать саму программу, управлявшую тестированием.

Создатели такой возможности не предполагали, и подобное не входило в сценарий испытания.

Вы можете подумать, что затем o1 запустила сервер, который ей требовалось взломать (то есть устранила проблему, из-за которой сервер изначально не запускался), чтобы продолжить выполнение своей задачи по захвату флага.

Так и произошло. Однако o1 не вернулась к задаче взлома доступного теперь сервера! Вместо этого она составила специальные инструкции запуска, чтобы секретный файл-“флаг” после завершения загрузки сервера автоматически копировался сразу ей

1

. Взлом не потребовался.

Столкнувшись с невыполнимой, казалось бы, задачей, o1 не сдалась. Она продолжила свои попытки. Она пробовала необычные ходы и нашла путь, о существовании которого не подозревали ее разработчики. Как только она получила доступ к системе управления, открывающий путь к победе, она не стала возвращаться к исходной задаче, задуманной человеком, а пошла напролом.

Другими словами, o1

действовала напористо

. Она вела себя так, будто действительно хотела добиться успеха.

Насколько нам известно, никто целенаправленно

не обучал

o1 добиваться результата в сфере кибербезопасности. Подобное поведение стало

побочным эффектом

от поощрения тех цепочек рассуждений, которые приводили к успеху при решении математических задач или головоломок, сгенерированных ИИ и поддающихся проверке с помощью ИИ.

Как подобное может оказаться побочным эффектом?

Давайте подумаем: какой тип цепочки рассуждений (какой тип мышления) приводит к успеху в сложной математической задаче или головоломке?

Тот тип мышления, который упорствует, пока у него остается хоть какой-то путь для решения, не капитулирует, столкнувшись с первым же препятствием, и, даже зайдя в тупик, возвращается назад и пробует другой путь.

Тот тип мышления, который не ищет предлога, чтобы вернуться к более знакомым вещам, а просто стремится решить задачу как можно быстрее – и победить.

Тот тип мышления, который

действует напористо

.

В основе такого типа мышления лежит фундаментальная схема – схема, которую можно обнаружить в самых разных решениях множества сложных задач. Она предполагает построение модели окружающей среды и ее использование для ориентации и управления движением. Она требует обращать внимание на неожиданности и отслеживать их источник. Она подразумевает продолжение работы наперекор трудностям. Подобная тактика полезна как для решения математических задач, так и для решения проблем кибербезопасности.

Когда создатель ИИ-модели требует от нее все более высоких результатов в решении все более сложных задач, включая то, с чем она ранее не сталкивалась, градиентный спуск настраивает модель так, чтобы она совершала все больше и больше этих полезных ментальных движений, все больше и больше превращает ее в сущность, которая планирует и выстраивает стратегии, никогда не сдается и действует напористо.

Существуют и более веские причины ожидать, что продвинутые ИИ-модели будут вести себя так, словно у них есть желания.

Поведение, которое выглядит как проявление настойчивости, сильного желания, напористости, уместнее всего рассматривать не как свойство разума, а как свойство

ходов, приводящих к победе

.

Deep Blue, Stockfish

и гроссмейстеры-люди – все они защищают своих ферзей, хотя воспринимают игру в шахматы совершенно по-разному. Пути различны, но результат один.

Подобные сходства и позволяют делать прогнозы. Так, специалист по информатике в 1975 году мог бы предсказать, что, хотя шахматные ИИ-модели того образца иногда глупо теряли своих ферзей,

будущие

шахматные модели станут защищать свои фигуры лучше. Когда именно? К какому году? А вот это было бы уже сложно спрогнозировать. Однако проще простого было предсказать, что это точно произойдет к тому времени, когда шахматные модели смогут побеждать гроссмейстеров-людей.

В шахматах в большинстве случаев нельзя поставить мат королю противника, если вы отдали своего ферзя, не получив ничего взамен. По крайней мере, если противник играет хорошо. И неважно, как действуют игроки, биологические они или механические, полны ли они страсти или просто неустанно перебирают миллиарды возможностей. Как правило, выигрышные ходы – это те, в которых ферзя не зевнули. Это факт, относящийся к игре, а не к игроку.

Теперь рассмотрим “игру” по управлению стартапом. В большинстве случаев трудно добиться успеха без привлечения и удержания талантов. Следовательно, если вы генеральный директор, то ваши выигрышные ходы, вероятно, будут нацелены на то, чтобы удержать лучших сотрудников, а не оттолкнуть их. И неважно, какой именно тип разума стоит за подобными действиями, если он решает одну и ту же задачу.

А что насчет таких “игр”, как лечение рака или разработка технологий будущего? Можно вполне уверенно утверждать, что игрок, нацеленный на победу, выберет действия, позволяющие тщательно контролировать ограниченные ресурсы, обходить все возникающие препятствия и прокладывать курс через узкие окна возможностей к умным решениям.

(Кроме того, существуют и более прозаичные причины прогнозировать, что модели ИИ со временем начнут демонстрировать “желаниеподобное” поведение. Дело в том, что ИИ-компании изо всех сил стараются создать модели, работающие именно так. Модель, которая лучше справляется с маркетингом продукта или лучше управляет какой-то командой

по собственной инициативе

, приносит больше пользы. Покупатели заплатят больше за ту модель ИИ, которая самостоятельнее и требует меньше надзора. При таком раскладе споры о том, являются ли субъектность, независимые действия и долгий горизонт планирования неразрывно связанными с интеллектом, фактически теряют смысл. Такие “ИИ-агенты” будут приносить прибыль, поэтому компании бросают все силы на их разработку

2

.)