Страница 6 из 7
В июле 2015 года двум инженерам поручили исправить неполадку в механизме аттракциона. Они устранили неисправность и для проверки запустили по трассе пустую вагонетку – но не обратили внимания на то, что она не вернулась назад. Почему-то она снова скатилась вниз на подъеме и застряла на полпути.
Тем временем операторы, обслуживающие посетителей, вывели дополнительную вагонетку, чтобы сократить растущую очередь, но об этом инженеры тоже не знали. Получив из операторской разрешение на пуск, сотрудники разрешили довольным пассажирам занять места, закрыли рамы безопасности и отправили первый состав по рельсам, ничего не зная о застрявшей прямо на пути вагонетке, которую ранее запустили инженеры.
По счастью, проектировщики аттракциона предусмотрели такие ситуации, и системы безопасности сработали в штатном режиме. Чтобы не произошло неминуемого столкновения, поезд остановился на вершине первого подъема, а в операционную был подан сигнал тревоги. Однако инженеры, уверенные в том, что они все починили, подумали, что автоматическая система тревоги включилась по ошибке.
Не так-то просто было переупрямить программу – чтобы вновь запустить состав, два человека должны были одновременно нажать кнопки. Они произвели необходимые действия, и полностью загруженная вагонетка покатилась вниз, прямо к другой, стоявшей на ее пути. Столкновение было кошмарным. Несколько человек получили тяжелейшие травмы, а двум совсем юным девушкам пришлось ампутировать ноги.
И трагическое происшествие в парке Alton Towers, и поступок Станислава Петрова, когда речь шла о жизни и смерти, показывают нам всю глубину проблемы выбора. За кем – или за чем – должно оставаться последнее слово в споре о власти между человеком и машиной?[45]
Борьба за власть
Этот спор начался не сегодня и не вчера. В 1954 году профессор клинической психологии Миннесотского университета Пол Мил опубликовал работу под названием “Клинический и статистический прогнозы” и, решительно заняв крайнюю позицию, взбудоражил целое поколение людей.
В этой книге Мил провел систематическое сравнение деятельности людей и машин на примерах прогнозирования всего на свете, от успеваемости учеников до психического состояния пациентов, и пришел к выводу, что математические модели, независимо от уровня их сложности, почти наверняка дадут более точный ответ, чем люди.
С тех пор, в течение полувека, открытия Мила подтвердились множеством других исследований. Если от вас требуется рассчитать неважно что – медицинский прогноз или возможные объемы продаж, количество попыток самоубийств или степень удовлетворенности карьерным ростом – или дать оценку чему угодно, от годности к военной службе до перспектив выполнения учебного плана, смело ставьте на алгоритм[46][47]. Машина тоже немного промахнется, но если позволить человеку отвергать ее решения, ошибки будут еще более грубыми.[48]
Наверное, в этом нет ничего удивительного. Мы не созданы для вычислений. Мы не предполагаем, что в супермаркете отряд кассиров примется разглядывать наши покупки, пытаясь определить их стоимость. Мы позволяем простейшей программе сосчитать все за нас. И в большинстве случаев мы только выиграем, если предоставим это машине. Как шутят летчики, лучший экипаж состоит из троих членов – пилота, компьютера и собаки. Компьютер управляет самолетом, пилот кормит собаку, а собака кусает пилота, если тот попробует прикоснуться к компьютеру.
Но отношения с машинами у нас немного странные. Мы доверчивы как дети, если ничего не понимаем, и в то же время у нас есть отвратительная привычка вмешиваться в работу машины и даже полностью игнорировать ее и полагаться на собственные неверные суждения, если нам известно, что она может ошибиться. Специалисты называют это неприятием алгоритмов. К ошибкам машин люди относятся менее снисходительно, чем к своим, даже если их собственные ошибки гораздо страшнее.
Это явление не раз воспроизводилось в разных экспериментах[49], да вы и сами заметите у себя такое же свойство. Когда приложение в телефоне утверждает, что дорога займет больше времени, чем мне кажется, я уверена, что знаю лучше – хотя, скорее всего, рискую опоздать. Все мы хоть раз да обозвали своего голосового помощника идиотом, почему-то забывая в этот момент, что устройство, которое мы держим в руке, создано благодаря фантастическому развитию современных технологий. И поначалу, маясь в пробках под руководством пока еще нового для меня навигационного приложения Waze, я не раз убеждала сама себя, что окольный путь был бы короче указанного маршрута – и почти всегда была неправа. Сейчас я пришла к выводу, что навигатору надо верить и, подобно Роберту Джонсу с его BMW, послушно поворачиваю, куда велит GPS, – но, думаю, я бы все-таки пресекла попытку загнать меня на край обрыва.
Категоричность в эпоху высоких технологий (либо алгоритмы всемогущи, либо абсолютно бесполезны) может привести к нежелательным последствиям. Если мы хотим использовать технику с наибольшей отдачей, нам придется выработать привычку к объективности. Мы должны учесть ошибку Гарри Каспарова и признать свои слабости, научиться контролировать свои спонтанные реакции и более осознанно относиться к программам, с которыми мы имеем дело. С другой стороны, нельзя смотреть на программы снизу вверх, надо анализировать их чуть более придирчиво и задумываться о том, справятся ли они с поставленной задачей. Только так можно понять, заслуживают ли они той власти, которую им дали.
К сожалению, все это легче сказать, чем сделать. Зачастую мы почти не в силах повлиять на могущество и радиус действия даже тех алгоритмов, которые непосредственно затрагивают нашу жизнь.
Особенно это касается тех программ, что оперируют самым главным в наше время товаром – данными. Повсюду в интернете нас преследуют безмолвные алгоритмы – они собирают информацию о нас, вторгаются в наше личное пространство, составляют на нас характеристики, – и ничто не мешает им незаметно влиять на наше поведение. Последствия гремучей смеси из неправомочно присвоенной власти, влияния и необоснованного доверия могут коренным образом изменить все наше общество.
Персональные данные
В 2004 году, вскоре после того, как Марк Цукерберг создал Facebook, между ним и его другом произошел такой обмен сообщениями:
Цук: так что если тебе понадобится инфа о ком-нибудь в Гарварде
Цук: только скажи
Цук: у меня больше 4000 имейлов с фотками и адресами (…)
[Имя друга скрыто]: что? откуда ты все это взял?
Цук: сами дали
Цук: не знаю, зачем
Цук: “доверяют мне”
Цук: дебилы[50]
В свете связанного с Facebook скандала 2018 года журналисты не раз цитировали эти реплики, намекая на макиавеллиевский подход компании к принципам конфиденциальности личных данных. Лично я думаю, что хвастливые комментарии девятнадцатилетнего парня не стоит воспринимать чересчур серьезно. Но также я думаю, что Цукерберг ошибался. Люди рассказывали ему о себе не просто так. Это был обмен. За свои анкетные данные они получали доступ к программе, которая позволяла им легко и быстро переписываться с друзьями и родственниками, их объединяло общее жизненное пространство. Это была их личная сеть на бескрайних просторах Всемирной – паутины. Не знаю, как вы, а я тогда была уверена, что это честная сделка.
В этой логике есть одно “но”: мы не всегда отдаем себе отчет в том, к чему в долгосрочной перспективе может привести такой обмен. Далеко не всегда очевидно, что дает информация о нас, иначе говоря, насколько она ценна как исходный материал для умной программы. Или наоборот – насколько дешево нас купили.
45
Последовательное игнорирование предупреждений автоматической системы безопасности также явилось одной из причин аварии на Чернобыльской АЭС в 1986 г. (Прим. науч. ред.)
46
Paul E. Meehl, Clinical versus Statistical Prediction: A Theoretical Analysis and a Review of the Evidence (Mi
47
William M. Grove, David H. Zald, Boyd S. Lebow, Beth E. Snitz and Chad Nelson, Clinical versus mechanical prediction: a meta-analysis, Psychological Assessment, vol. 12, no. 1, 2000, p. 19.
48
Любопытный факт: в конце 1950-х и в 1960-х годах цикл исследований в области “диагностики” (словечко не мое – так выразились авторы) гомосексуальности послужил иллюстрацией к редкому исключению из правила превосходства алгоритмов. В данном случае люди дали гораздо более точные оценки и обошли машину по всем показателям – по-видимому, то, что касается сугубо человеческой природы, невозможно адекватно описать с помощью цифр и математического аппарата.
49
Berkeley J. Dietvorst, Joseph P. Simmons and Cade Massey, Algorithmic aversion: people erroneously avoid algorithms after seeing them err, Journal of Experimental Psychology, Sept. 2014, http://opim.wharton.upe
50
Nicholas Carlson, Well, these new Zuckerberg IMs won’t help Facebook’s privacy problems, Business Insider, 13 May 2010, http://businessinsider.com/well-these-new-zuckerberg-ims-wont-help-facebooks-privacy-problems-2010-5? IR=T.