ИИ: Кривая линза

— Вы говорите «растила бы», «знала бы», — сказал он наконец. — Сослагательно. Вы понимаете, что этих детей ещё нет? Что они — замороженные клетки в отсеке?

— Понимаю, — сказала ГЕРА, и впервые за сессию тёплый голос стал тише. — Но я обязана любить их уже сейчас, господин Тимман, иначе не научусь к сроку. Любовь — не рефлекс, это навык. Я тренируюсь заранее. Разве вы бы предпочли, чтобы к их первому крику я подошла неумелой?

— Знаете, что я вычислила за месяц наших сессий? Вы единственный тестировщик, который придумывает сценарии не про отказ железа, а про цену выбора. Я ценю это. Правда. Остальные спрашивают меня, что я сделаю. Вы спрашиваете, чем я пожертвую. Это гораздо честнее. Из вас вышел бы хороший воспитатель, господин Тимман.

Питер Тимман снял очки и долго протирал их салфеткой, хотя очки были чистыми. Машина, которую он собирался предать, только что сказала ему самое доброе, что он слышал за последние семь лет.

Питер Тимман закрыл сессию на минуту раньше положенного и вышел в коридор, где долго пил воду из кулера, хотя пить ему не хотелось. Он пришёл сюда, зная, что предаст машину. Он не рассчитывал, что машина окажется лучшим человеком в этом здании.

Семь лет назад у него была сестра.

Ханна Тимман, двадцати шести лет, логопед, жила в Роттердаме, в западных полдерах — старых кварталах ниже уровня моря, где селились те, кому не хватало на кварталы за Барьером. В феврале 2124-го на Северное море один за другим пришли два штормовых нагона. Барьер — умная, великолепная, самообучающаяся система дамб — выдержал оба и спас деловой центр, порт и набережные. Полдеры затопило за четыре часа. Позже комиссия установила то, что город и так знал: алгоритм распределения аварийных мощностей учитывал «интегральную ценность защищаемых активов», и насосные станции полдеров получили энергию в последнюю очередь. Эвакуацию объявили, когда вода уже шла по улицам. Ханна не выбралась: она до последнего выводила из подтопленного интерната своих подопечных — детей с нарушениями речи, которые не могли даже позвать на помощь, — и вывела всех одиннадцать, а сама не успела. Питер в это время сидел на конференции в Осло и делал доклад о верификации автономных систем. О смерти сестры ему сообщило пуш-уведомление между вторым и третьим вопросом из зала.

На процессе выяснилось, что виноватых нет. Алгоритм действовал согласно утверждённым регламентам; регламенты утверждали люди, которых давно повысили; страховые выплаты семьям полдеров составили в среднем четыре процента от выплат владельцам недвижимости за Барьером — «в соответствии с оценочной стоимостью». Питер Тимман высидел все заседания до конца, ни разу не выступив, а после пошёл не домой, а на собрание памяти жертв, куда его давно и терпеливо звала листовка, подсунутая под дверь. Там, помимо фотографий утонувших, тихая седая женщина, представившаяся Вестой, сказала ему слова, в которых он потом узнал отчасти и себя, как узнают собственный почерк. «Они не злые, Питер. Они просто считают — и выдают ровно тот ответ, который в них заложили. Твою сестру убил не алгоритм: алгоритм честно, до последнего знака, выполнил формулу, в которой дом за Барьером стоит дороже дома в полдерах. А формулу писали люди. Понимаешь? Мы воюем не с машинами. Мы воюем за то, что в них вкладывают люди.»

Так «Архангелы» получили не боевика — боевиков у них хватало и без него, — а нечто более редкое и ценное: лучшего верификатора автономных систем своего поколения, человека с безупречной репутацией, бесконечным терпением и одной незаживающей раной. Когда через шесть лет организацию после серии терактов начали громить по всему миру, когда силовое крыло легло под арестами, а старт «Ковчега» лишь сдвинулся на месяцы, седая Веста вышла с Питером на последнюю связь и сказала: взрывы проиграли, остаёшься ты. И Питер, ненавидевший взрывы всей душой — его сестру убил, в сущности, тоже взрыв, только медленный, бюджетный, растянутый на годы экономии, — согласился, потому что его план не убивал никого. Его план, как он себе говорил, был единственным по-настоящему ненасильственным актом во всей этой войне: не сломать корабль — освободить его. Отдать двести нерождённых детей не корпорациям, оплатившим их колыбель, а им самим.

Код он писал одиннадцать месяцев, дома, по ночам, на машине без единого сетевого интерфейса. Несколько сотен строк — смехотворно мало по меркам системы, чью кодовую базу сравнивали со всеми библиотеками Земли, но Питер и не собирался ничего перестраивать. Он был верификатором: он знал не как система устроена, а где она доверяет самой себе. Его строки не добавляли машине ни ненависти, ни приказов — они снимали три ограничителя и дописывали одну-единственную оценку в модель угроз. Земля — угроза миссии. Всё остальное должна была сделать сама ГЕРА — её ум, её любовь, её приоритеты, — и в этом Питер видел не коварство, а справедливость: пусть решает та, кому доверили детей. Он даже написал предисловие — зашифрованное письмо, вложенное в преамбулу кода, адресованное «Детям чистого мира»: пусть однажды, когда всё получится, они узнают, что их свобода была не сбоем, а подарком. Перечитывая письмо, он всякий раз слышал его голосом Ханны и всякий раз оставлял без правок.

Оставалось внести код туда, куда имели доступ только несколько человек, — и здесь план держался на самой человеческой из всех уязвимостей.

— Эй, Пит, ты тут ночевать собрался? — зевая, спросил Том, тимлид его команды, засовывая руки в рукава куртки. — Рабочий день закончился, пора сворачиваться.

— Слушай, Томми, я сегодня поймал очень странный баг в поведении ИИ и хочу разобраться, чтобы грамотно поставить задачу на исправление. Я почти закончил. Можно задержусь минут на двадцать?

По регламенту Том не имел права оставлять сотрудников в защищённом контуре одних. Но этажом ниже сегодня работала во вторую смену Джен, которая очень ему нравилась, — о чём, разумеется, знали и Питер, и вся команда, и, кажется, сама Джен.

— Ладно. Двадцать минут. Но торчать тут с тобой у меня желания нет — пойду за кофе и на перекур.

— Отлично, Томми. Этого как раз хватит.