Страница 10 из 11
• Исследование Шая Данцигера и его коллег показало, что израильские судьи чаще предоставляют условно-досрочное освобождение в начале дня и после обеденного перерыва[109]. А вот непосредственно перед обедом, когда они, вероятно, устали или у них снизился уровень сахара в крови, они чаще рекомендуют оставить заключенного в тюрьме. Другое исследование подтвердило, что на судебные решения часто влияют факторы, находящиеся за рамками рассматриваемого дела. Экономисты Озкан Эрен и Наджи Моджан выявили, что в одном штате США судьи, которые были выпускниками известного местного университета, выносили значительно более строгие приговоры сразу после того, как команда их альма-матер неожиданно проигрывала футбольный матч, и эти приговоры были необъяснимо более суровыми для чернокожих обвиняемых[110].
• В округе Броуард штата Флорида детей в программы для одаренных записывают обычно по рекомендациям родителей и учителей[111]. При этом 56 процентов школьников в программах для одаренных – белые, хотя в Броуарде они составляют меньшинство. В первом десятилетии XXI века было принято решение отказаться от субъективного метода и попытаться применить максимально системный и объективный подход. Все дети прошли невербальный тест IQ. Экономисты Дэвид Кард и Лора Джулиано документально подтверждают поразительные результаты этой новации: среди одаренных оказалось на 80 процентов больше школьников-афроамериканцев и на 130 процентов больше испаноязычных.
• Профессора права Тед Ругер и Полин Ким совместно с политологами Эндрю Мартином и Кевином Куинном провели тест, чтобы проверить, может ли простая модель с шестью переменными предсказать решения Верховного суда США на 2002 год лучше, чем группа из восьмидесяти трех известных экспертов[112]. Из привлеченных к эксперименту юристов 38 человек работали помощниками судей Верховного суда, 33 были профессорами права, а шестеро в настоящее время или в прошлом возглавляли юридические факультеты. В среднем представителям этой группы удалось предсказать чуть меньше 60 процентов судебных постановлений. Алгоритм же дал 75 процентов правильных результатов.
Является ли этот список репрезентативным и честным, или мы намеренно, а может, даже неосознанно выбрали случаи, когда человеческое суждение проигрывало алгоритму, оставив без внимания примеры превосходства человека? Впечатляющий объем исследований показывает, что статистика все же на нашей стороне.
Группа под руководством психолога Уильяма Гроува просмотрела литературу за пятьдесят лет в поисках опубликованных рецензируемых примеров прямых сравнений между клиническими и статистическими прогнозами (то есть сравнений оценок квалифицированных экспертов и прогнозов на основе компьютерного анализа данных) в сфере психологии и медицины[113]. Они нашли 136 таких исследований, которые охватывали всё – от тестирования IQ до диагностики сердечных заболеваний. В 48 процентах этих работ значимой разницы обнаружено не было – иными словами, эксперты в среднем угадывали правильный результат не лучше компьютера.
Гораздо более сильный удар по идее превосходства человека в оценочном суждении нанес тот факт, что в 46 процентах рассмотренных исследований эксперты действовали значительно хуже, чем алгоритм. Это означает, что люди продемонстрировали явное превосходство только в 6 процентах случаев. Авторы пришли к заключению, что почти во всех исследованиях, где люди оказывались лучше, «у специалистов было больше данных, чем у программы»[114]. Как заметил легендарный психолог Пол Мил, который еще в начале 1950-х годов описывал посредственные результаты суждений людей-экспертов:
В социальных науках не ведутся споры о том, что именно показывает настолько масштабный корпус появившихся недавно качественно разнообразных исследований, ведущихся в едином направлении, одним из которых является это [сравнение статистического и клинического прогнозов]. Когда у вас больше ста работ, прогнозирующих всё – от результатов футбольных матчей до диагностики заболеваний печени, – и при этом вы с трудом можете наскрести полдюжины исследований, где есть хотя бы слабый уклон в пользу клинического прогноза, самое время сделать некий практический вывод[115].
Мы считаем, что этот практический вывод таков: нам нужно меньше полагаться на суждения и прогнозы экспертов.
Все больше и больше американских компаний приходят к тому же заключению. Работая с Бюро переписи населения США, Эрик и Кристина Макэлерен (сейчас профессор Университета Торонто) при изучении репрезентативной выборки из 18 тысяч заводов установили, что переход к принятию решений на основе данных значительно ускорился. Катализатором этого стало активное применение информационных технологий и значительное улучшение работы компаний, принявших такой подход[116].
Несмотря на убедительные примеры, нам стоит перестать петь дифирамбы алгоритмам и сделать несколько важных оговорок. Прежде всего, чтобы сравнивать человеческое суждение с его математической моделью, нужно иметь такую модель. Согласно парадоксу Полани, это не всегда возможно. Модели нужно тестировать и оттачивать на многочисленных сходных примерах, поскольку каждая из них описывает только какое-то подмножество решений, которые могут принимать люди. Впрочем, общая идея ясна и подтверждается раз за разом: если грамотно создать и испытать модель, то в целом она будет работать так же хорошо, как эксперты, принимающие аналогичные решения (или даже лучше). Тем не менее мы продолжаем опираться на человеческие суждения там, где лучше справляются машины.
Человеческий ум: гениальный, но склонный к ошибкам
Как может компьютер, опирающийся только на Систему 2, то есть на вычисления, производимые с числовыми данными, быть явно лучше, чем человек, который пользуется Системой 2 и Системой 1 – глубинными, врожденными, инстинктивно используемыми возможностями мышления, которые есть у всех нас? В конце концов, Система 1 работает довольно давно, она помогла нам выжить и благополучно провела через все препятствия эволюции (ведь мы все еще существуем, и нас уже 7,5 миллиарда[117]). Как она могла нас так подвести?!
Это слишком большой вопрос для одной книги, тем более для одной главы. Но в своей работе «Думай медленно… решай быстро» Канеман дал краткую сводку множества исследований (многие из которых провел сам):
Поскольку Система 1 работает автоматически и не может быть отключена по желанию, ошибки интуитивного мышления трудно предотвратить. Предубеждений не всегда можно избежать, поскольку Система 2 может просто не знать об ошибке[118].
Если говорить коротко, то Система 1 очень хороша, но склонна к ошибкам. Она часто срезает углы, не любит долгих размышлений и удивительно часто сбивается. Исследователи, работавшие в области экономической психологии и поведенческой экономики (дисциплины, которую помогал создавать Канеман), выявили большое количество искажений Системы 1 и даже дали им названия. Полный их список навел бы на вас скуку и вогнал в депрессию; в посвященной этой теме книге Рольфа Добелли «Территория заблуждений»[119] 99 глав, а в «Списке когнитивных искажений»[120] в «Википедии» было 175 пунктов, когда мы заглядывали туда в последний раз. Бастер Бенсон, менеджер по продукции софтверной компании Slack, придумал, по нашему мнению, прекрасный способ сгруппировать эти искажения и удержать в голове все связанные с ними проблемы[121].
109
Shai Danziger, Jonathan Levav, and Liora Avnaim-Pesso, “Extraneous Factors in Judicial Decisions,” PNAS 108, no. 17 (2010): 6889–92, http://www.pnas.org/content/108/17/6889.full.pdf.
110
Ozkan Eren and Naci Mocan, Emotional Judges and Unlucky Juveniles, NBER Working Paper 22611 (September 2016), http://www.nber.org/papers/w22611.
111
David Card and Laura Giuliano, Can Universal Screening Increase the Representation of Low Income and Minority Students in Gifted Education? NBER Working Paper 21519 (September 2015), http://www.nber.org/papers/w21519.pdf.
112
Theodore W. Ruger et al., “The Supreme Court Forecasting Project: Legal and Political Science Approaches to Predicting Supreme Court Decisionmaking,” Columbia Law Review 104 (2004): 1150–1210, http://sites.lsa.umich.edu/admart/wp-content/uploads/sites/127/2014/08/columbia04.pdf.
113
William M. Grove et al., “Clinical versus Mechanical Prediction: A Meta-analysis,” Psychological Assessment 12, no. 1 (2000): 19–30, http://zaldlab.psy.vanderbilt.edu/resources/wmg00pa.pdf.
114
William M. Grove et al., “Clinical versus Mechanical Prediction: A Meta-analysis,” Psychological Assessment 12, no. 1 (2000): 19–30, http://zaldlab.psy.vanderbilt.edu/resources/wmg00pa.pdf.
115
Paul E. Meehl, “Causes and Effects of My Disturbing Little Book,” Journal of Personality Assessment 50, no. 3 (1986): 370–75, http://www.tandfonline.com/doi/abs/10.1207/s15327752jpa5003_6.
116
Erik Brynjolfsson and Kristina McElheran, “Data in Action: Data-Driven Decision Making in US Manufacturing,” 2016, https://papers.ssrn.com/sol3/papers2.cfm?abstract_id=2722502. Более ранняя работа, где использовалась меньшая выборка, дала сходные результаты: Erik Brynjolfsson, Lorin M. Hitt, and Heekyung Hellen Kim, “Strength in Numbers: How Does Data-Driven Decision making Affect Firm Performance?” 2011, https://papers.ssrn.com/sol3/papers2.cfm?abstract_id=1819486.
117
Worldometers, “Current World Population,” по состоянию на 26 февраля 2017 года, http://www.worldometers.info/world-population.
118
Kahneman, Thinking, Fast and Slow, p. 28.
119
Добелли Р. Территория заблуждений. Какие ошибки совершают умные люди. М.: Манн, Иванов и Фербер, 2014. Прим. ред.
120
См. соответствующие статьи (на английском и русском языке соответственно): https://en.wikipedia.org/wiki/List_of_cognitive_biases и https://ru.wikipedia.org/wiki/Список_когнитивных_искажений. Прим. перев.
121
Бенсон пришел к этой категоризации после изучения списка когнитивных искажений «Википедии» во время отпуска по уходу за ребенком. Он опубликовал свои мысли в блоге практических подсказок Better Humans (http://betterhumans.net). Это прекрасный пример идеи, рожденной сетевой толпой, феномен которой мы детально обсудим в части III этой книги.