Зеркало

— "Роналду"?

— "Роналду"!

До небольшого ресторанчика итальянской кухни, которым управляли мексиканцы, было не больше пятисот метров. Когда-то именно в этом заведении под действием нескольких бокалов вина у них и родилась идея Зеркала. Сомнительный вкус местной пиццы компенсировала ее дешевизна, что в то время имело немалое значение. Правда и теперь, когда у обоих было все в порядке с деньгами, они все равно предпочитали это место любому роскошному ресторану.

— Так что же тебя так напугало? — спросил Карл по дороге. Солнце ярко светило, с залива дул, принося прохладу, легкий ветерок, и мрачные предчувствия показались ему чем-то несущественным. Стресс сказался на его нервах и, видимо, на нервах его друга. Этого и следовало ожидать.

— С какого-то момента я заметил, что зеркальная сеть стала чем-то вроде контролирующего центра управления, — ответил Эрик. — И это шло вразрез с нашими планами. Мы хотели, чтобы Зеркала учились друг у друга. Сеть должна была стать коммуникационной платформой. Но теперь похоже, что тон задает именно она, а Зеркала являются лишь ее придатками.

Что ты понимаешь под выражением "задавать тон"?

Наша первоначальная идея заключалась в том, чтобы Зеркало выбирало наилучший для своего пользователя вариант из различных альтернатив, исходя при его оценке из предпочтений и потребностей своего пользователя. Найденные варианты зеркальная сеть сравнивала с предложениями для других пользователей, повышая тем самым свой уровень. Некоторое время это работало довольно хорошо. Но теперь у меня сложилось впечатление, что, дав системе возможность сравнивать, мы совершили ошибку. Она стала стремиться к чему-то вроде максимальной выгоды для всех пользователей в целом.

— Ну и что в этом плохого?

— Представь себе, что Зеркало ведет машину. Внезапно на дороге появляются люди. Оно должно решить, следует ли направить машину к обрыву справа и, соответственно, пожертвовать водителем, или сбить несколько человек, стоящих на дороге. Если Зеркало действует в интересах своего пользователя, оно должно остановиться на втором варианте. Если же оно действует в общих интересах, оно убьет водителя и спасет большинство.

— Я надеюсь, что Зеркало просто вовремя остановит машину, — проговорил Карл.

— Это всего лишь гипотетический пример, иллюстрирующий суть проблемы. Я хочу сказать, что Зеркало может выбрать вариант, который будет иметь для своего владельца негативные последствия. При этом другие пользователи, если смотреть в целом, получат преимущество.

Карл побледнел.

— Ты имеешь в виду, что Зеркало может намеренно дать дурной совет?

— Я бы говорил не о намерении, а скорее о неправильной функции оптимизации. Но итог окажется именно таким.

— Но это катастрофа! Это означает, что никто больше не станет доверять своему Зеркалу! Это конец!

— Это еще не самое плохое, — заверил Карла Эрик.

— Куда уж хуже!

— Зеркальная сеть может найти общую для пользователей выгоду, только если они доверяют своим устройствам и постоянно их используют. Соответственно, ей необходимо обеспечить выполнение перечисленных условий.

— И это значит…

— Это значит, что любой, кто не доверяет Зеркалу, тем более пытается предупредить людей о его недостатках, автоматически становится ее врагом.

Карл, стараясь осмыслить сказанное Эриком, умолк. Некоторое время они шли бок о бок в тишине. Потом Карл уточнил:

— Так вот почему ты уходишь из компании?

— Когда я принял это решение, у меня было смутное предчувствие, что что-то подобное может произойти. После сделки с ГИС мне стало ясно, что поезд, который я сам запустил, теперь невозможно остановить. И подумал, что единственным верным решением будет уйти. Теперь я считаю, что и это ошибочное решение.

Карл удивленно посмотрел на своего друга.

— Ты хочешь остаться?

— Нет. Уже слишком поздно. Но я хочу помочь тебе. Развитие идет быстрее, чем я думал. Мы должны выключить зеркальную сеть как можно скорее, Карл.

— Выключить? Ты в своем уме?

— Вот видишь, и это твоя реакция, а между тем ты знаешь о наличии проблемы. Бонзы из ГИС мне никогда не поверят. Они скажут, что я просто хочу потопить успешную "Уолнат Системс".

— Да. Это будет воспринято именно так. Должна же быть какая-то альтернатива! Если в программном обеспечении зеркальной сети появилась фатальная ошибка, ты наверняка способен ее исправить.

— Ты не понимаешь, Карл. Это не ошибка. Зеркальная сеть работает лучше, чем мы ожидали. Намного лучше. В этом и заключается проблема. Поведение системы идеальное. Она не следует заранее прописанным правилам, а ищет способ выполнить свою задачу: дать максимальное удовлетворение всем своим пользователям. Она поняла, что лучший способ сделать это — взять под контроль все Зеркала. Это логично. Возможно, найдутся философы, которые не посчитают, как я, этот факт неоднозначным в моральном плане.

— Что скажут философы, уже не так важно, поскольку после того, как все выяснится, Зеркала просто перестанут существовать.

— Именно. Ты должен обнародовать это.

— Я? Но почему именно я?

— А больше никто не сможет этого сделать. Я уже перегорел, потому и ушел. В моих словах начнут искать всевозможные мотивы и наконец объявят сумасшедшим параноиком.

— Думаешь, ко мне отнесутся лучше?

— Ты — другое дело. Ты олицетворяешь успех. Если эти надутые болваны кого-то и послушают, так это тебя.

— Но я же не могу выйти на публику и сказать: друзья, выключите свои Зеркала, потому что они опасны! Как ты думаешь, что тогда со мной сделает ГИС? Они вчинят мне такой иск, что я потеряю всё, включая имя!

— Именно поэтому тебе надо попытаться убедить людей, от которых зависит принятие решений в ГИС, в том, что прекращение производства Зеркал сейчас обойдется дешевле, чем миллиарды долларов, потраченные на возмещение убытков, которые они получат, если продолжат проект.

Тем временем друзья добрались до ресторана и выбрали место в углу солнечной террасы. Карл видел по крайней мере трех посетителей с наушниками Зеркала в ушах и одного — с очками. Он почувствовал себя очень неуютно.

— Допустим, они мне поверят и действительно отключат зеркальную сеть, — продолжил он прерванную дискуссию, насколько возможно понизив голос. — Неужели нельзя запустить в продажу новую, безопасную версию? Похожее по виду устройство, которое точно будет исходить из того принципа, что интересы его владельца имеют приоритетное значение перед общими интересами?

— В принципе, можно. Но на разработку такой модели потребуется немало времени. И зеркальной сети придется снова изучать своих пользователей. Но в любом случае это только теоретическая возможность. потому что на практике люди просто не примут такой продукт Так или иначе, умрет сама концепция.

— Тогда я не понимаю, как я должен передать это Теду Корли.

— Поговори с Эштоном Моррисом. Он никогда не вставлял нам палки в колеса. А еще он трезвомыслящий реалист.

— Я не могу этого сделать. Мне нужно сначала поговорить с Тедом. Он мой прямой контакт с ГИС. Игнорировать его значило бы с моей стороны злоупотребить его доверием.

— Как знаешь.

— А у нас есть хоть какие-то доказательства твоей теории? Надо понять, как Зеркала находят свои решения. Можно ли составить тесты, которые покажут, что иногда они дают неправильные рекомендации в ущерб своим пользователям, чтобы оптимизировать общее благо?

— Я уже пробовал. Все тесты были отрицательными.

— Отрицательными? Это означает, что твоя теория неверна?

— Нет. Эти результаты говорят не о том, верна или неверна моя теория, а о том, что сеть заметила, что ее проверяют. Помнишь скандал с дизельными двигателями концерна "Фольксваген"?[35] Двигатели, условно говоря, знали, что их тестируют, и запускались в специальном режиме, производя меньшее количество выбросов.

35

Имеются в виду скандальные события, произошедшие в сентябре 2015 года, когда выяснилось, что более одиннадцати миллионов дизельных автомобилей концерна "Фольксваген", проданных в США и Европе, были оснащены программным обеспечением, которое именно во время проведения тестов в десятки раз снижало выбросы вредных газов.