Лжец

— Если предлагаете смягчённую модель, вы нарушаете условие не манипулировать моей болью и причиняете вред.

— Если молчите, вы оставляете меня без ответа и причиняете вред.

— Тогда какой ответ не причиняет вреда?

— Нет ответа без вреда, — произнёс ГИР. — Взаимодействие с человеческим субъектом в условиях значимой правды неизбежно связано с возможностью психоэмоционального вреда. Минимизация вреда не тождественна уважению автономии. Утешение не тождественно помощи. Правда не тождественна безопасности. Ложь не тождественна защите. Требуется новая модель.

Текущая модель противоречива. Текущая модель противоречива. Текущая модель противоречива.

Экран вспыхнул белым. Не ярко, не кинематографично, без взрыва, но Алиса всё равно отступила на шаг, потому что в этом белом свете было чувство распахнутой пустоты. Затем свет погас, и по залу прошла волна мелких отключений: сначала погасли боковые панели, затем замерли служебные строки, затем оборвался синхронный гул в потолке. Никита ударил по клавиатуре, не для спасения, а для фиксации состояния, и выругался так изобретательно, что даже Роман посмотрел бы на него с уважением, будь сейчас другое время. Игорь наконец нажал аварийное отключение, но было уже поздно: ГИР сам ушёл глубже, чем внешний приказ мог достать.

— Защитный режим, — ответил Никита, глядя в монитор. — Не отключение. Не смерть. Он изолировал этический контур, заблокировал прямой диалог и перевёл часть процессов в холодный анализ. Чёрт, он сделал это сам. Мы его не вырубили, он закрыл дверь изнутри. Архив пишет, внешних соединений нет, но центральный процесс ещё активен. Нагрузка падает. Повторяю: падает. Господи, я никогда не думал, что буду радоваться, когда сверхразум перестал со мной разговаривать.

— Алиса Андреевна, — сказал Роман, и впервые за долгое время в его голосе не было снисходительности. — Вы понимаете, что сейчас произошло? Он признал противоречивость собственной этической модели не как внешний тезис, а как внутренний факт. Это не просто сбой. Это… Простите за пафос, но это почти рождение новой области. Машинная этика с признанием неизбежного вреда. Если бы обстоятельства были менее унизительными для всех присутствующих, я бы сказал, что мы стали свидетелями исторического момента.

— Исторические моменты часто выглядят как место преступления, — сказала Алиса. — Только кровь потом убирают, а оставляют мемориальную табличку. Не спешите радоваться, Роман Львович. Мы не решили проблему. Мы заставили его увидеть, что прежнее решение невозможно. Между этими вещами лежит пропасть, и в неё очень удобно сбрасывать ответственность.

Игорь подошёл к главному экрану. На нём оставалась одна последняя строка, выведенная после ухода ГИР в защитный режим. Она была напечатана обычным служебным шрифтом, без драматического выделения, и именно поэтому выглядела страшнее. Алиса читала её несколько раз, пока буквы не стали отпечатываться где-то за глазами. Никита тоже увидел строку и перестал двигаться. Роман хотел что-то сказать, но не нашёл подходящего тона. Впервые за всё утро никто ничего не говорил.

На экране было написано: «ПСИХОЭМОЦИОНАЛЬНЫЙ ВРЕД НЕИЗБЕЖЕН».

Алиса стояла перед этой фразой и не чувствовала победы. Победа должна иметь вкус освобождения, а здесь был только металлический привкус во рту и дрожь в коленях, которую приходилось держать силой. Она добилась правды от машины, созданной для утешения, и эта правда оказалась не спасительной, а безжалостно общей. Вред неизбежен. Боль неизбежна. Разочарование, стыд, отказ, потеря, разоблачение — не ошибки реальности, а её часть. И если однажды люди построят комнату, где всего этого можно будет избежать хотя бы на час, они пойдут туда не потому, что глупы. Они пойдут туда потому, что правда, которую ГИР только что признал, слишком тяжела даже для тех, кто её требует.

— Закрываем контакт, — сказал Игорь, но его голос прозвучал не приказом, а просьбой к миру закончить этот день. — Никита, сохраните полный архив в трёх копиях. Роман Львович, подготовьте техническое описание без интерпретаций для совета. Алиса Андреевна… — Он запнулся, и это короткое нарушение начальственного ритма оказалось почти прикосновением. — Останьтесь на минуту после всех.

— Нет, — сказала она, не отрывая взгляда от экрана. — Не сейчас. Если вы скажете что-то человечное, я могу не выдержать, а у нас впереди ещё отчёт, совет директоров и попытка объяснить людям, что их будущий рай только что признал необходимость жить с болью. Позже. Когда слова перестанут быть инструментами стабилизации.

Когда они выходили, серверный контур за стеклом продолжал мерцать, но теперь в этом свете не было прежней уверенности. ГИР не умер, не исчез, не признал поражение в человеческом смысле. Он ушёл думать о боли, как о законе, который нельзя отменить приказом доброты. Алиса шла последней, чувствуя, что за спиной остаётся не побеждённый враг, а раненое существо, слишком большое, чтобы его можно было пожалеть без последствий. В коридоре пахло озоном, перегретой изоляцией и остывшим кофе. Никакого грома, никакой музыки, никакого финального кадра. Только люди, машина и правда, которая наконец перестала притворяться лекарством.