Страница 13 из 14
Размерность наших данных ограничивает количество моделей, которые мы можем создать. У нас может быть максимум семь моделей. Мы не можем построить одиннадцать независимых моделей, не говоря уже о семидесяти семи. Даже если бы у нас были данные с более высокой размерностью (например, если бы мы знали возраст, средний балл, доход, семейное положение и адрес получателей кредита), категоризация, основанная на этих атрибутах, должна обеспечивать точные прогнозы. Каждое подмножество атрибутов должно быть релевантным тому, погашен ли кредит, и не связанным с другими атрибутами. В обоих случаях речь идет о сильных предположениях. Например, если между адресом, семейным положением и доходом наблюдается корреляция, то модели, в которых эти атрибуты поменяны местами, тоже должны коррелировать[44]. В случае строгой вероятностной модели независимость кажется обоснованной: разные модели порождают разные ошибки. Объяснение этой логики с помощью моделей категоризации позволяет осознать сложность построения множества независимых моделей.
Попытки формирования совокупности разноплановых, точных моделей сопряжены с аналогичной проблемой. Предположим, нам нужно создать ансамбль моделей категоризации, прогнозирующих уровень безработицы в пятистах городах среднего размера. Точная модель должна разделить города на категории таким образом, чтобы в рамках одной категории в них наблюдался схожий уровень безработицы. Кроме того, модель должна точно прогнозировать безработицу в каждой категории. Для того чтобы две модели обеспечивали разные прогнозы, они должны по-разному делить города на категории, по-разному составлять прогнозы, или и то и другое. Хотя эти два критерия не противоречат друг другу, могут возникнуть трудности с их удовлетворением. Если один вариант категоризации основан на среднем уровне образования, а другой – на среднем уровне дохода, они могут обеспечивать разбиение на аналогичные категории. Тогда обе модели будут точными, но не разнообразными. Формирование двадцати шести категорий с использованием первой буквы названия каждого города обеспечит разноплановую категоризацию, но, по всей вероятности, не позволит создать точную модель. Поэтому здесь снова напрашивается вывод, что на практике количество элементов «множества» обычно ближе к пяти, чем к пятидесяти.
Результаты эмпирических исследований прогнозирования согласуются с этим выводом. Хотя увеличение числа моделей повышает уровень точности (как и должно быть согласно теоремам), после формирования группы моделей предельный вклад каждой из них снижается. В компании Google обнаружили, что привлечение одного интервьюера для оценки кандидатов на вакантную должность (вместо случайного выбора) повышает вероятность найма высококвалифицированного сотрудника с 50 до 74 процентов, привлечение второго интервьюера повышает эту вероятность до 81 процента, привлечение третьего интервьюера – до 84 процентов, а четвертого – до 86 процентов. Наличие двадцати интервьюеров повышает вероятность всего до 90 процентов с небольшим. Это указывает на ограничение предельного количества значимых способов оценки потенциального сотрудника.
Аналогичный вывод справедлив и при оценке десятков тысяч прогнозов экономистов в отношении безработицы, экономического роста и инфляции. В этом случае следует рассматривать экономистов как модели. Включение второго экономиста повышает точность прогноза примерно на 8 процентов, еще два экономиста повышают его на 12 процентов, а еще три – более чем на 15 процентов. Десять экономистов увеличивают точность прогноза примерно на 19 процентов. Кстати, прогноз лучшего экономиста всего на 9 процентов точнее, чем среднего, при условии, что вы знаете, какой экономист лучший. Таким образом, три произвольно выбранных экономиста эффективнее, чем один лучший[45]. Еще одна причина использования нескольких средних экономистов, не полагаясь на одного, пусть в прошлом и лучшего, – изменчивость мира. Экономист, демонстрирующий сегодня самые высокие результаты, завтра может стать середняком. Аналогичная логика объясняет, почему Федеральная система США полагается на совокупность экономических моделей, а не на одну модель: как правило, множество моделей обеспечивают более высокий средний результат, чем самая лучшая одиночная модель.
Урок должен быть очевиден: формирование множества разноплановых, точных моделей позволяет нам составлять очень точные прогнозы и оценки и выбирать правильные действия. Теоремы обосновывают логику многомодельного мышления. Чего они не делают и не могут сделать, так это построить множество моделей, удовлетворяющих их исходным предположениям. На практике мы можем обнаружить, что имеем возможность создать три-пять хороших моделей. И если так, то это здорово! Нам нужно только вернуться к предыдущему абзацу: включение второй модели обеспечивает улучшение на 8 процентов, а третьей – уже на 15 процентов. Учтите, что вторая и третья модели не обязательно должны быть лучше первой. Они могут быть хуже. Однако если эти модели чуть менее точны, но отличаются в категорийном смысле, их следует включить в совокупность.
Одна большая модель и вопрос о степени детализации
Многие модели работают в теории и на практике. Но это не значит, что многомодельный подход всегда верен. Иногда лучше разработать одну большую модель. В этом разделе мы проанализируем, когда целесообразнее использовать каждый из подходов и попутно рассмотрим вопрос о степени детализации, то есть о том, насколько детальным должно быть разделение данных.
Для того чтобы ответить на первый вопрос (использовать одну большую модель или множество маленьких), вспомните об областях применения моделей: рассуждение, объяснение, разработка, коммуникация, действие, прогнозирование и исследование. Четыре из них (рассуждение, объяснение, коммуникация и исследование) требуют упрощения, благодаря чему мы можем использовать логику, позволяющую объяснять те или иные явления, распространять свои идеи и исследовать возможности.
Вспомните теорему Кондорсе о жюри присяжных. С ее помощью мы смогли раскрыть логику, объяснить, почему подход с использованием множества моделей с большой вероятностью обеспечит правильный результат, и сделать выводы. Если бы мы включили в модель жюри присяжных типы личности и представили доказательства в виде одномерного массива слов, мы заблудились бы в лесу деталей. Борхес рассуждает об этом в своем эссе о науке, рассказывая о составителях карт, стремившихся к чрезмерной детализации: «Коллегия картографов создала карту империи, которая была размером с империю и совпадала с ней до единой точки. Потомки, не столь преданные изучению картографии, сочли эту пространную карту бесполезной»[46].
Модели с высоким уровнем точности будут полезны и для трех оставшихся областей применения моделей, таких как прогнозирование, разработка и действие. При наличии БОЛЬШИХ данных мы должны их использовать. Эмпирическое правило звучит так: чем больше у нас данных, тем детализированнее должна быть модель. Это можно продемонстрировать на примере применения моделей категоризации для структурирования мышления. Допустим, нам нужно построить модель для объяснения вариации во множестве данных. Для создания контекста предположим, что у нас есть огромный массив данных сети продуктовых магазинов, содержащий подробную информацию о ежемесячных расходах нескольких миллионов домохозяйств на продукты питания. По объему расходов они разнятся, что мы измеряем как вариацию – сумму квадратов разности между величиной расходов каждого домохозяйства и средним объемом расходов по всем домохозяйствам. Если средний объем расходов составляет 500 долларов в месяц, а семья тратит 520 долларов, она вносит вклад в общую вариацию, равный 400, или 20 в квадрате[47].
44
Лу Хонг и Скотт Пейдж показывают в своей статье (Hong and Page, 2009), что независимые модели требуют уникального набора категорий. Другими словами, существует только один способ создания множества независимых прогнозов на основе модели бинарной категоризации.
45
См. три мои книги, опубликованные ранее: «Различие» (The Difference – Page, 2008), «Разнообразие и сложность» (Diversity and Complexity – Page, 2010) и «Преимущества разнообразия» (The Diversity Bonus – Page, 2017) – в них подробно анализируется теорема о прогнозе разнообразия. Данные об экономических прогнозах можно найти здесь: Ma
46
Борхес Х. Л. Сочинения в трех томах. Том 3. Полярис, 1997. Прим. ред.
47
Статистики обозначают долю вариации, которую объясняет модель, как R² этой модели. (Этот коэффициент в статистике обычно называют коэффициентом детерминации, вычисляется как отношение межгрупповой вариации всей модели к внутригрупповой вариации (вариации одной модели). Прим. ред.