Тирания показателей

От зацикленности на количественных показателях – прямой путь к оценке результатов деятельности, их публикации и использованию для определения размера вознаграждения зачастую вопреки свидетельствам того, что такой подход не слишком адекватен.

При должном использовании количественные оценки – хорошее дело, точно так же, как и прозрачность. Вместе с тем они могут приводить к искажениям, к отвлечению внимания и ресурсов, к подменам, к рассеиванию сил и разочарованиям. Хотелось бы, конечно, жить в эпоху измерений, однако на деле это эпоха неправильных, избыточных, лукавых и контрпродуктивных измерений. Эта книга не о пороках измерения, она о непреднамеренных негативных последствиях попыток подменить основанные на опыте и знаниях суждения стандартными показателями результативности. Проблема не в измерениях, а в их чрезмерности и неадекватности – не в количественных показателях, а в патологической зацикленности на них.

Нам часто говорят, что сбор показателей результативности и их открытая публикация позволяют улучшить функционирование наших институтов. Причем нигде не расхваливают пользу учета, показателей результативности и прозрачности сильнее, чем в сфере здравоохранения. Это и понятно, ведь ни от одной другой сферы не зависит так много. Помимо того, что на сектор здравоохранения приходится более 17 % ВВП США, в нем в буквальном смысле решаются вопросы жизни и смерти. Если следовать логике, то измерение результативности должно помогать экономить деньги и спасать жизни.

Считается, что сбор данных о проценте успешных операций, или о коэффициенте выживаемости пациентов по больницам, полезен. Если государственные ведомства или частные страховые компании платят врачам или больницам в зависимости от процента успешных операций, это повышает их заинтересованность в повышении качества обслуживания. А если данные о результатах деятельности открыто публикуются, то это помогает людям выбирать врачей и больницы. Таким образом, количественные показатели, отчетность и прозрачность становятся средством устранения недостатков в здравоохранении. Что тут может быть не так?

Как мы уже видели, «не так» может быть очень многое. Когда в основу системы вознаграждения и мотивации кладут количественные показатели, хирурги, как и другие специалисты под жестким контролем, начинают заниматься «снятием сливок», то есть просто избегать рискованных случаев. Если больницы наказывают за высокий процент пациентов, умерших в течение 30 дней после операции, то делается все, чтобы пациенты продержались 31 день и не портили показателей[2]. В Англии Министерство здравоохранения в попытке сократить время ожидания помощи в отделениях неотложной помощи решило наказывать больницы, где ждать приходилось больше четырех часов. Программа оказалась успешной, по крайней мере внешне. На самом деле некоторые больницы стали держать поступающих пациентов за пределами своих стен в машинах скорой помощи до тех пор, пока персонал не убедится в том, что уложится в отведенные четыре часа[3].

К здравоохранению мы еще вернемся, однако характерные для него проблемы возникают и во многих других сферах – в школьном и среднем специальном образовании, в охране правопорядка и других госуслугах, в бизнесе и финансах, в благотворительных организациях. Работающие в этих отраслях неизбежно должны чувствовать их существование. Социологи препарируют эти проблемы в отдельно взятых областях. При этом, однако, из виду ускользает, что те же самые негативные последствия использования показателей результативности, отчетности и прозрачности вновь и вновь проявляются во множестве других институтов[4].

Стоит лишь затронуть проблему зацикленности на количественных показателях, и она начинает вылезать повсюду, а не только в телесериалах.

Куда ни глянь, повсеместно наталкиваешься на количественные показатели. Ngram, онлайн-сервис Google, мгновенно просматривающий тысячи отсканированных книг и других публикаций, позволяет составить примерную, но красноречивую картину изменений в нашей культуре и обществе. Задайте годы и слово или фразу – и получите график, показывающий частоту встречаемости слов в текстах, созданных с 1800 г. до нынешнего дня. Введите слово «отчетность» и увидите линию, которая поворачивает вверх примерно в 1965 г., а после 1985 г. поднимается все круче. Такой же график будет и у слова «показатели»: после 1985 г. линия резко идет вверх. Аналогичными оказываются графики для понятий «контрольные ориентиры» и «индикаторы эффективности».

В книге приводятся доказательства того, что, несмотря на потенциальную ценность этих инструментов, достоинства построенной на количественных показателях отчетности преувеличены, а затраты на ведение такой отчетности занижены. Она предлагает этиологию и диагноз, а также прогноз лечения зацикленности на количественных показателях и снятия болезненных симптомов.

Самая характерная особенность зацикленности на количественных показателях – стремление заменить основанные на опыте суждения стандартизированными оценками. Суждения считаются личными, субъективными и предвзятыми, а количественные показатели – достоверными и объективными. Стратегия заключается в повышении эффективности институтов путем вознаграждения тех, у кого показатели самые высокие или достигнуты установленные ориентиры, и наказания отстающих. Политика, в основе которой лежат эти идеи, проводится уже несколько десятилетий, и, как показывают графики Ngram, небезрезультатно.

Разумеется, во многих ситуациях решения, принимаемые на основе стандартных показателей, лучше решений на основе личного опыта и знаний. Решения, основанные на анализе больших данных, полезны, когда опыт отдельно взятого практика слишком ограничен для интуитивного понимания причин и надежной оценки эффективности. Например, когда врач сталкивается с симптомами редкого заболевания, ему лучше полагаться на стандартизированные критерии, выработанные в результате обобщения множества случаев. Контрольные листы (стандартные процедуры, устанавливающие порядок действий) оказываются ценными в таких разных сферах, как авиаперевозки и здравоохранение[5]. Как отмечается в книге «MoneyBall. Как математика изменила самую популярную спортивную лигу в мире»[6], статистический анализ иногда выявляет измеримые, но не учитываемые характеристики, которые оказываются более важными, чем следует из интуитивных представлений, опирающихся на опыт[7].

Иначе говоря, измерение того, что ранее не измеряли, если пользоваться такими измерениями с разумной осторожностью, может приносить реальные выгоды. Попытка измерить результаты деятельности, хотя, как будет показано, и сопряжена с неприятными неожиданностями, по сути своей желательна. Если фактически измеряемое является приемлемым индикатором того, что нужно измерять, и если измерение не отменяет суждения, то это может помочь практикам в оценке результатов деятельности – как на индивидуальном уровне, так и на уровне организаций. Проблемы начинаются, когда количественные показатели становятся критериями для поощрения и наказания, то есть когда количественные показатели становятся основой для выплат по результатам или для тарификации.

Схемы оценки результативности обманчиво привлекательны потому, что они нередко «доказывают» свою полезность, раскрывая вопиющие ошибки или упущения. Как следствие, их начинают применять везде. Инструменты, подходящие для выявления действительно плохого выполнения обязанностей, становятся инструментами измерения всех результатов. В первый момент измерение результативности может заставить исправиться тех, кто работает плохо, или вытеснить плохих работников с рынка. Но во многих случаях при расширении применения стандартизированные измерения теряют полезность и даже становятся вредными, превращаясь из разумного решения в безумное. Измерения контрпродуктивны прежде всего при попытках измерить неизмеримое и количественно оценить неисчислимое.

2

Paula Chatterjee and Karen E. Joynt, “Do Cardiology Quality Measures Actually Improve Patient Outcomes?” Journal of the American Heart Association (February 2014). Несколькими годами ранее ту же самую проблему отметил Ричард Ротстейн: Richard Rothstein, “The Influence of Scholarship and Experience in Other Fields on Teacher Compensation Reform,” pp. 87–110 in Matthew G. Springer (ed.), Performance Incentives: Their Growing Impact on American K-12 Education (Washington, D.C., 2009), p. 96; расширенная версия называлась Holding Accountability to Account: How Scholarship and Experience in Other Fields Inform Exploration of Performance Incentives in Education, National Center on Performance Incentives, Working Paper 2008–04, February 2008.

3

Bevan and Hood, “What’s Measured Is What Matters”.

4

Исключением является работа: Richard Rothstein, Holding Accountability to Account. Также ценна работа: Adrian Perry, “Performance Indicators: ‘Measure for Measure’ or ‘A Comedy of Errors’?” in Caroline Mager, Peter Robinson, et al. (eds.), The New Learning Market (London, 2000).

5

Laura Landro, “The Secret to Fighting Infections: Dr. Peter Pronovost Says It Isn’t That Hard. If Only Hospitals Would Do It,” Wall Street Journal, March 28, 2011, и Atul Gawande, The Checklist Manifesto (New York, 2009).

6

Льюис М. MoneyBall. Как математика изменила самую популярную спортивную лигу в мире. – М.: Манн, Иванов и Фербер, 2014.

7

Michael Lewis, Moneyball: The Art of Wi