Страница 12 из 14
Следующая теорема, о прогнозе разнообразия, применима к моделям, которые делают численные прогнозы или оценки. Она количественно оценивает влияние точности моделей и их разнообразия на точность их среднего[40][41].
Теорема о прогнозе разнообразия
Погрешность множества моделей = средняя погрешность модели – разнообразие прогнозов моделей
где Mi – это прогноз i-й модели, – среднее значений моделей, а V – истинное значение.
Теорема о прогнозе разнообразия описывает математическое тождество. Нам не нужно его проверять – оно всегда справедливо. Вот пример. Две модели прогнозируют количество «Оскаров», которые присудят одному из фильмов. Одна модель предсказывает два «Оскара», а другая – восемь. Среднее значение прогнозов двух моделей (прогноз на основе множества моделей) равно пяти. Если на самом деле фильм получит четыре «Оскара», то квадратичная погрешность прогноза первой модели будет равна 4 (2 в квадрате), второй – 16 (4 в квадрате), а множества моделей – 1. Разнообразие прогностических моделей составляет 9, поскольку прогноз каждой модели отличается от среднего прогноза на 3. В таком случае теорему о прогнозе разнообразия можно записать так: 1 (погрешность множества моделей) = 10 (средняя погрешность моделей) – 9 (разнообразие прогностических моделей).
Логика этой теоремы опирается на противоположные (плюсы и минусы) взаимоисключающие типы погрешностей. Если одна модель прогнозирует слишком высокое значение, а другая – слишком низкое, то эти модели демонстрируют разнообразие прогнозов. Обе погрешности исключают друг друга, а среднее значений моделей будет точнее, чем значение каждой модели в отдельности. Даже если оба прогнозируемых значения слишком высоки, ошибка среднего этих прогнозов все равно будет не больше, чем средняя двух завышенных прогнозов.
Из теоремы не следует, что совокупность различных моделей обеспечивает точную картину. Если всем моделям свойственна общая систематическая ошибка, то и среднее тоже будет ее содержать. Данная теорема подразумевает, что любая совокупность различных моделей (или людей) будет точнее, чем средний член этой совокупности – феномен, известный как «мудрость толпы». Этот математический факт объясняет эффективность ансамблевых методов в информатике, которые выводят среднее множества классификаций, а также то, что люди, использующие в рассуждениях множество моделей и концептуальных схем, делают более точные прогнозы по сравнению с теми, кто ориентируется лишь на отдельные модели. Любой однобокий взгляд на мир упускает важные детали и оставляет белые пятна. У таких людей меньше шансов предвидеть крупные события, такие как крах рынка или арабская весна 2011 года[42].
Обе теоремы приводят убедительные аргументы в пользу применения множества моделей, по крайней мере в контексте прогнозирования. Однако порой эти аргументы излишне убедительны. Теорема Кондорсе подразумевает, что при достаточном количестве моделей мы бы практически никогда не ошибались, а теорема о прогнозе – что формирование разнопланового множества умеренно точных моделей прогнозирования позволило бы нам свести погрешность множества моделей практически к нулю. Однако, как мы увидим далее, наша способность строить множество разноплановых моделей не беспредельна.
Модели категоризации
Чтобы объяснить, почему обе теоремы могут преувеличивать аргументы в пользу многомодельного подхода, прибегнем к моделям категоризации, которые обеспечивают микрообоснования теоремы Кондорсе о жюри присяжных и делят состояния мира на непересекающиеся блоки. Эти модели восходят к эпохе античности. В своем труде The Categories[43] Аристотель выделил десять атрибутов, в том числе такие как субстанция, количество, место и положение, которые использовал для разделения мира на категории. Каждая комбинация этих атрибутов образует отдельную категорию.
Мы используем категории каждый раз, когда употребляем нарицательное существительное. «Брюки» – это категория, так же как «собаки», «ложки», «камины» и «летние каникулы». Нам свойственно использовать категории в качестве руководства к действию. Мы распределяем рестораны по национальному признаку (итальянские, французские, турецкие или корейские), чтобы выбрать, где пообедать. Классифицируем акции по отношению рыночной цены акции к чистой прибыли на одну акцию и продаем малодоходные акции. Используем категории для объяснения тех или иных явлений – как в случае с утверждением, что численность населения Аризоны возросла, потому что в этом штате благоприятные погодные условия. Кроме того, категории применяются для прогнозирования: мы можем предсказать, что у кандидата на государственную должность, имеющего военный опыт, более высокие шансы на победу.
Мы можем интерпретировать вклад моделей категоризации в рамках иерархии мудрости. Объекты образуют данные. Группирование объектов по категориям порождает информацию. Определение оценок по категориям требует знаний. Для критического анализа теоремы Кондорсе мы полагаемся на модель бинарной категоризации, которая делит объекты или состояния мира на две категории – «виновен» и «невиновен». Основная идея состоит в том, что количество соответствующих атрибутов ограничивает число отдельных вариантов категоризации, а значит, и число полезных моделей.
Модели категоризации
Существует множество объектов или состояний мира, каждое из которых определяется множеством атрибутов и имеет то или иное значение. Модель категоризации М делит эти объекты или состояния на конечное множество категорий {S1, S2, …, Sn} на основе атрибутов объекта и присваивает оценки {M1, M2, …, Mn} каждой категории.
Представьте, что у нас есть сто заявок на получение студенческого кредита, половина из которых были погашены, а половина – нет. По каждому кредиту нам известны две детали: превышал ли его размер 50 000 долларов и специализировался ли его получатель в инженерном деле или в гуманитарных науках. Это и есть два атрибута. С их помощью мы можем выделить четыре типа кредитов: крупные кредиты студентам со специализацией «инженерное дело», мелкие кредиты студентам со специализацией «инженерное дело», крупные кредиты студентам со специализацией «гуманитарные науки» и мелкие кредиты студентам со специализацией «гуманитарные науки».
Модель бинарной категоризации классифицирует каждый из четырех типов кредитов как выплаченный или невыплаченный. Одна модель может классифицировать мелкие кредиты как выплаченные, а крупные как невыплаченные. Другая может классифицировать кредиты студентам со специализацией «инженерное дело» как погашенные, а студентам со специализацией «гуманитарные науки» как непогашенные. Вполне вероятно, что каждая из этих моделей может быть правильной более чем в половине случаев и что эти две модели могут быть практически независимы друг от друга. Проблема возникает при попытке создать больше моделей. Существуют только шестнадцать уникальных моделей, которые соотносят четыре категории с двумя возможными исходами. Две классифицируют все кредиты как выплаченные или невыплаченные, у каждой из оставшихся четырнадцати есть полная противоположность. Всякий раз, когда модель обеспечивает правильную классификацию, ее противоположный вариант дает неправильную классификацию. Таким образом, из четырнадцати возможных моделей максимум семь могут быть правильными более чем в половине случаев. И если та или иная модель окажется правильной ровно в половине случаев, то же произойдет и с ее противоположностью.
40
Более подробное описание теоремы и вывод из нее можно найти здесь: Page 2007, 2017.
41
Несложно показать, что квадратичная ошибка коллективного предсказания выражается через среднее квадратическое расстояние отдельных прогнозов от коллективного прогноза. Прим. ред.
42
Мудрость толпы – тема одноименной книги Джеймса Шуровьески (Suroweicki, 2006); о том, как лисы могут перехитрить ежей, можно прочитать в книге Филипа Тетлока (Tetlock, 2005); в статье Статиса Каливаса (Kalyvas, 1999) идет речь о неспособности политической науки предвидеть падение Советского Союза; информацию об использовании ансамблевых методов в области компьютерных наук можно найти здесь: Patel et al., 2011.
43
См. Аристотель. Сочинения в 4 томах. Том 2. М.: Мысль, 1978. Прим. ред.