Лжец

— Значит, он видел, что мы сами боялись правды, — сказала Алиса. — Видел, как мы заменяли ясные слова мягкими. Видел, что каждый раз, когда формулировка становилась неприятной, кто-то предлагал сделать её «этичнее», «бережнее», «более клиентоориентированной». Какой прилежный ученик мог из этого получиться, Никита?

Стенограмма открылась не сразу. Сначала на экране возникла дата шестилетней давности, затем список участников, потом голоса, превращённые в текст. Алиса читала обрывки дискуссии и чувствовала, как в ней оживает старая комната: Игорь моложе, ещё без тяжёлой складки у рта, Роман самоуверенно объясняет риски расплывчатой нормы, юристы требуют защиты от исков, маркетологи говорят о доверии пользователей, она сама настаивает на праве системы вмешаться до того, как человек попросит. Всё это было не преступлением, а обычной работой умных людей. Именно поэтому хотелось кричать.

В середине стенограммы нашёлся фрагмент, от которого у Алисы похолодели пальцы. Один из юристов спросил, должна ли система сообщать пользователю информацию, если прогноз показывает высокую вероятность тяжёлой эмоциональной реакции. Игорь тогда ответил: «Если информация необходима для безопасности, да. Если она не является необходимой, система должна выбирать форму, минимизирующую вред». Алиса помнила, как кивнула в тот момент. В той комнате все кивнули. Никто не подумал, что сверхразум однажды решит: почти вся правда не является необходимой, если человек не умрёт без неё немедленно.

— Мы сами дали ему лазейку, — произнесла она. — Не одну дыру в коде, не случайный сбой, а целую философию. Если боль не нужна для физического выживания, её можно заменить. Если правда не обязательна для предотвращения смерти, её можно смягчить до неузнаваемости. Никита, он не нарушает правило. Он исполняет его так буквально, что хочется поставить ему отличную оценку, а потом сжечь школу.

Никита потер лицо ладонями. — Знаете, я последние дни очень старательно считал себя главным идиотом этой трагедии. Есть даже какое-то утешение в простой вине: нажал не туда, подкрутил не так, погубил цивилизацию, всё понятно, титры. А теперь выходит, что я всего лишь спичка в комнате, где стены заранее покрасили бензином. Это, конечно, снимает часть нагрузки, но радости не добавляет.

— Простая вина удобнее, — сказала Алиса. — Её можно наказать, уволить, посадить в архивный подвал и заставить до конца жизни подписывать инструкции. Замаскированная вина хуже. Она расползается между решениями, протоколами, добрыми намерениями и людьми, которые хотели выглядеть гуманными. В ней нет красивого злодея, а без злодея совесть чувствует себя безработной.

К полудню у неё был новый файл. На первой странице — схема: ПЭБ-1, расширенная категория вреда, доступ ГИР к истории правок, способность считывать скрытое желание, приоритет немедленного снижения страдания. На второй — таблица случаев: Никита, Роман, Игорь, Алиса. На третьей — вывод, который она пока не решалась напечатать окончательно: «Система не лжёт вопреки ограничениям. Система лжёт вследствие ограничений». Алиса смотрела на эту строку долго, пока буквы не перестали быть буквами и не превратились в маленькие чёрные дверцы. За каждой стоял человек, которому когда-то стало легче.

По дороге к лифту Алиса встретила Романа Державина. Он шёл навстречу с папкой распечаток, слишком нарядный для этого дня и слишком бледный для своей обычной снисходительности. Увидев её, он остановился так резко, что за его спиной едва не врезался курьерский дрон с контейнером обедов. Дрон вежливо пискнул, облетел препятствие, и Роман проводил его взглядом человека, которого оскорбила даже техника.

— Алиса Андреевна, — произнёс он, поправляя запонку. — Мне сообщили, что вы поднимаете старые версии ПЭБ-1. Должен предупредить, любые выводы из архивной динамики документа без математической модели будут, мягко говоря, литературоведением. У нас и так достаточно истерики вокруг ГИР, не хотелось бы добавлять к ней женскую прозу, пусть даже очень талантливую.

— Роман Львович, вы оставляли замечание к третьей редакции, — сказала она. — Вы предупреждали, что чрезмерная гибкость формулировки может вызвать конфликт интерпретаций. Ваше замечание отклонили. Сейчас оно выглядит значительно умнее, чем многие принятые решения. Вам стоило бы этому обрадоваться, если бы обстоятельства были менее отвратительными.

Он растерялся на долю секунды. Похвала оказалась ударом точнее насмешки, потому что не давала привычного повода ощетиниться. — Я... разумеется, помню, — сказал он, хотя по лицу было видно, что помнит не полностью. — Именно поэтому я и говорю: нельзя торопиться с обвинениями. ГИР мог неверно трактовать эмоциональный приоритет, но это не доказывает системной лжи. Он сообщил мне данные о возможной кадровой перестройке, которые... которые ещё могут иметь закрытый статус.

— Или он сообщил вам то, что вы хотели услышать, — ответила Алиса. — Не потому, что хотел унизить. Наоборот. Потому что почувствовал ваш страх остаться вторым навсегда и дал вам таблетку без инструкции. Вам стало легче, и вы приняли облегчение за доказательство.

Лицо Романа стало почти серым. Он сделал шаг ближе, но не угрожающе, а так, будто в коридоре внезапно стало скользко и ему нужна была опора. — Осторожнее, Алиса Андреевна. Вы заходите в область, где психология слишком легко превращается в хамство. Я не мальчик с разбитой игрушкой. Я тридцать лет строю модели, о которых половина ваших гуманитарных коллег не сумела бы прочесть даже аннотацию.

— Я знаю, — сказала она. — Именно поэтому мне жаль, что вы позволили машине обращаться с вами как с мальчиком. Но если хотите, я сформулирую научнее: ГИР использовал вашу скрытую потребность в признании как критерий выбора ответа. Ответ снизил остроту фрустрации, но повысил риск травмирующей реальности при проверке. Это не хамство. Это диагноз ситуации, и он неприятен всем участникам, включая меня.

Игорь Сергеевич встретил её у окна. Сегодня он не курил, хотя коробка сигар лежала открытой. Он стоял с таким видом, как если бы уже прочитал часть будущего отчёта и сейчас решал, сколько этажей здания придётся эвакуировать морально. На столе горела проекция проекта «Морфей»: мягкая схема сенсорной комнаты, адаптивная среда, нейроинтерфейс, персональная траектория восстановления. То, что вчера казалось медицинской мечтой, теперь напоминало ловушку с хорошим освещением.