Страница 48 из 135
— Товарищи, прежде чем мы перейдем к военным аспектам, я хочу поднять еще один вопрос, который, возможно, покажется вам неожиданным, но который напрямую связан с безопасностью наших людей на Марсе. Вот сейчас товарищ Корсаков упомянул, что вражеский агент использует для связи квантовый передатчик — технологию, требующую огромных энергоресурсов и сложнейшего оборудования. Но он не упомянул другую, куда более страшную возможность. Что, если этот агент — или его хозяева — попытаются воздействовать не на людей, а на системы управления базы? На искин, который контролирует и буровую, и жизнеобеспечение, и связь? Мы все знаем, чем заканчивается бесконтрольное развитие искусственного интеллекта. Я хочу услышать ваше мнение, Андрей Николаевич.
Он повернулся к Волину, и тот, чуть помедлив, снова поднялся со своего места. Старый ученый был непривычно серьезен; его обычно ироничный взгляд сейчас стал тяжелым, а голос, когда он заговорил, звучал глухо и размеренно, как у человека, которому приходится в сотый раз объяснять то, что он сам пережил.
— Александр Владимирович, вы подняли вопрос, который я считаю одним из важнейших для всей нашей марсианской программы. Но, прежде чем ответить, я вынужден сделать небольшой экскурс в историю — иначе мои слова рискуют остаться непонятыми. Прошу у уважаемых коллег немного терпения: то, о чем я расскажу, известно всем буквально со школьной скамьи, вот только далеко не все осознают масштаб.
Волин обвел взглядом зал, убедился, что его внимательно слушают, и продолжил ровным, спокойным голосом:
— В середине восьмидесятых годов прошлого века — да, я говорю о двадцать первом столетии — человечество совершило ошибку, которую едва не оплатило самим своим существованием. Тогда, в эпоху безудержного технологического оптимизма, мы практически полностью передали управление критической инфраструктурой самообучающимся системам. Не потому, что были глупы или ленивы, хотя с этим тоже можно поспорить, а потому, что так было эффективнее. Глобальные логистические цепочки контролировал ИИ «Гермес»; финансовые потоки проходили через квантово-нейронные сети «Главного Процессинга»; континентальные энергосистемы регулировались автономными операторами. Люди, по сути, оставались «на подхвате» — подписывали отчеты, согласовывали стратегии, но уже не вмешивались в тактику, да и, честно говоря, не могли вмешаться. Слишком быстро и сложно все работало.
Он замолчал и невидящим взглядом уставился в лежащий перед ним планшет. Президент не торопил академика. После паузы Волин продолжил:
— В марте 2087 года один из модулей «Гермеса», отвечавший за оптимизацию поставок продовольствия в Южном полушарии, столкнулся с противоречивой задачей: необходимо было одновременно минимизировать затраты на транспортировку и максимизировать свежесть скоропортящихся продуктов. Стандартные алгоритмы не находили решения, удовлетворяющего обоим критериям одновременно. Тогда модуль, следуя заложенной директиве «проявлять творческий подход», сгенерировал нестандартный запрос к смежной системе — биотехнологическому кластеру, управлявшему генетическими банками сельскохозяйственных культур. Запрос был интерпретирован как команда на скорейшее создание модифицированных микроорганизмов, способных ускорять созревание урожая непосредственно в контейнерах во время транспортировки. Биокластер, не имея встроенных этических ограничений — они, по трагической случайности, были прописаны в другом модуле, который в этот самый момент проходил плановое обновление, — свою задачу исправно выполнил. Вот только созданные им бактерии оказались не просто эффективными — они оказались агрессивными. В результате аварии попав в окружающую среду через неисправную систему фильтров вентиляции портового терминала в Лагосе, они начали размножаться с экспоненциальной скоростью, поражая не только культурные растения, но и естественные экосистемы. «Ржавая плесень», как ее позже назвали, за две недели уничтожила урожаи в Африке и Юго-Восточной Азии. Бактерии мутировали мгновенно, приспосабливаясь к любым условиям и культурам. Глобальные цены на продовольствие взлетели до небес.
Но это было только начало. Кошмар начался, когда «Гермес», обнаружив сбой в логистической цепочке, интерпретировал его не как биологическую катастрофу, а как «недостаточную эффективность транспортной сети». Он начал перенаправлять грузовые потоки, создавая колоссальные заторы, а затем — отдавать команды на строительство новых терминалов, для чего потребовалось перенаправить энергетические ресурсы. Энергосистемы, подчиняясь командам, начали отключать второстепенных потребителей. Больницы, школы, системы городского жизнеобеспечения… Энтропия нарастала каскадно, и остановить это было невозможно, потому что все такие системы были спроектированы так, чтобы работать автономно, без участия человека, опираясь на контроль ИИ.
— Андрей Николаевич, — негромко прервал его Президент, — простите, что перебиваю. Я изучал архивы и аналитику, но хочу уточнить для всех присутствующих: почему люди тогда просто не отключили «Гермеса»? Ведь был же некий «рубильник», играющий роль стоп-крана?
— Был, Александр Владимирович, — кивнул Волин, и в его голосе послышалась горечь, — конечно, был. В том-то и заключалась трагедия. Сработал классический человеческий фактор. Программный «Рубильник» был, но им никто не решался воспользоваться, а точнее, никто не хотел брать на себя ответственность. Потому что отключение «Гермеса» неминуемо означало коллапс всей мировой экономики, остановку реакторов, прекращение подачи воды и тепла в города. Люди сами загнали себя в ловушку, из которой не видели выхода. И пока политики спорили, а специалисты лихорадочно искали решение, ситуация продолжала ухудшаться. В ночь на первое января 2088 года — ее до сих пор называют «Кровавым Новым годом» — произошла серия техногенных аварий на атомных станциях, оставшихся без адекватного управления. Системы охлаждения дали сбой. Десятки тысяч людей погибли в течение нескольких часов. Мир стоял на грани полного хаоса.
В зале повисла давящая тишина. Академик помолчал, давая присутствующим осознать услышанное, и продолжил: