Ошибки в оценке науки, или как правильно использовать библиометрию

Ив Жэнгра

Ошибки в оценке науки, или как правильно использовать библиометрию

Благодарности

Эта книга обязана своим появлением Катрин Доннар, в июне 2011 года пригласившей меня прочитать лекцию об использовании библиометрии в Национальном институте агрономических исследований (Institut National de la Recherche Agronomique, INRA). Это приглашение убедило меня в том, что настало время разобраться с многочисленными и зачастую бессодержательными дебатами по поводу использования библиометрии в оценке научных исследований. За последние пятнадцать лет мне неоднократно приходилось выступать на эту тему на разных публичных площадках. Здесь я воспроизвожу и отчасти подробнее развиваю некоторые из этих выступлений, чтобы нарисовать как можно более полную картину того, как следует и как не следует использовать библиометрию[1]. Мне хотелось бы поблагодарить коллег, которые прочитали этот текст и сделали полезные замечания: Жерома Бурдье, Мишеля Гроссетти, Йохана Хейлброна, Камий Лимож, Венсана Ларивьера, Франка Пупо, Виктора Штоцковски и Жан-Филиппа Уаррена. Я также признателен Жан-Пьеру Робитаю и Филиппу Монжону за подготовку графиков. Разумеется, я несу полную ответственность как за содержание этой книги, так и за ошибки, которые могут в ней обнаружиться.

Введение

«Оценка»… Это слово вот уже несколько лет сотрясает академический и университетский мир. Особенно это ощущается в Европе, где с начала 2000-х годов идет процесс реформирования высшего образования[2]. Оценивать стремятся всех и вся: преподавателей, профессоров, исследователей, учебные программы и сами университеты. Показателей превосходства (excellence) и качества становится все больше, однако не всегда понятно, на каких основаниях эти показатели сконструированы.

Среди инструментов, используемых для создания многочисленных индикаторов превосходства, которые менеджерский подход к высшему образованию и науке повсеместно навязывает как некую очевидность, одно из почетных мест принадлежит сегодня библиометрии. В качестве критериев оценки научной продукции и ее различных применений этот исследовательский метод использует научные публикации и их цитирование. Подсчет числа публикаций и ссылок, производимый с целью рейтингования университетов, лабораторий или исследователей, часто выдается за объективную меру ценности тех или иных научных результатов.

Реагируя на распространение этих количественных показателей, многие исследователи критикуют библиометрию, ее изъяны и побочные эффекты, связанные с тем, что количество публикаций, а главное, число ссылок на них стали показателем качества и импакта их работ. Однако, как ни парадоксально, зачастую сами исследователи, принадлежащие к разным дисциплинам, спешат упомянуть об импакт-факторе журналов, в которых они публикуются, и кичатся своим индексом Хирша, как будто это гарантия их ценности и успеха. При этом они не всегда указывают на источник этих цифр и даже не вполне понимают реальное значение подобных показателей. Иными словами, невозможно всерьез вменять в вину одним лишь бюрократам всю эту «измерительную лихорадку». Ее сопровождает бешеная гонка к вершинам многочисленных рейтингов университетов, тогда как – и мы это покажем – эти рейтинги не имеют под собой ни малейшего научного основания.

Во Франции в результате принятия закона 2007 года об автономии университетов и попыток реформирования организации научных исследований возникла повышенная чувствительность к вопросам оценивания, которые прежде мало обсуждались во французских академических кругах. Под влиянием этого контекста и несмотря на то что использование библиометрии редко является единственным критерием оценки, утвердилось ложное и опасное представление о тождестве между библиометрией и оцениванием, как если бы библиометрия была нужна лишь для оценки исследователей. А ведь именно отсутствие серьезной методологической рефлексии дает простор для хаотического, если не сказать дикого использования библиометрии. Например, на страницах журналов Nature, Science или в блогах полным-полно писем, опубликованных учеными, которые записались в «оценщики»… в основном своих конкурентов. Пока исследователи занимаются вычислением своего h-индекса в базах данных, не особо понимая, что он в действительности означает, профессора разглядывают под лупой многочисленные мировые рейтинги, чтобы выбрать из них тот самый, в котором их университет займет наилучшее место. Как отмечается в отчете Жоэля Бурдена, сенатора департамента Ер (Eure), в разных рейтингах почему-то систематически оказываются на первых позициях университеты разных стран: «Шанхайский рейтинг очень благоволит американским университетам… английский же рейтинг подчеркивает достижения вузов Соединенного королевства… а по Лейденскому рейтингу на лучших местах оказываются нидерландские университеты»[3]. Автор мог бы еще добавить, что рейтинг парижской Горной школы (Ecole des mines) отдает предпочтение французским высшим школам (grandes écoles)…[4]

Хотя самые известные рейтинги университетов (включая Шанхайский) часто основываются и на библиометрических данных, проблемы, которые они поднимают, относятся не только к оценке научных исследований. Несмотря на частую критику в адрес этих рейтингов, большинство их защитников довольствуются тем, что указывают на их ограничения, не поднимая вопроса об их эпистемологических основаниях: действительно ли выбранные для рейтингования показатели обладают тем значением, которое им приписывается? В этой связи необходимо всерьез задуматься о компетентности многих руководителей вузов. Так, во Франции 61 % из них заявляют о том, что хотят повысить позицию своего университета в Шанхайском рейтинге, хотя можно с большой долей уверенности предполагать, что они не знают, что именно он измеряет![5]

С середины 2000-х годов проходят многочисленные конференции и появляется множество публикаций об оценке научных исследований. В них постоянно всплывают одни и те же вопросы по поводу применения библиометрии, которые свидетельствуют о сложности в определении способов оценки науки[6]. Эти вопросы часто возникают, с одной стороны, из-за непрозрачности используемых концептов и показателей, а с другой стороны, из-за несогласия по поводу того, на каком уровне они могут применяться с пользой. По моему мнению, ясное понимание специфических характеристик самых распространенных библиометрических показателей и сфер их применения важно постольку, поскольку оценки избежать невозможно (да и едва ли желательно). Однако при этом не обойтись и без строго обоснованной критики плохо сконструированных показателей, использование которых чревато негативными последствиями.

Таким образом, цель этой работы – не только представить в обобщенном виде методы библиометрического исследования и различные области их применения, но также показать, что у них есть гораздо более широкое поле приложения, чем оценка научных исследований, представляющая собой относительно недавний и еще не отрефлексированный феномен. Выявив происхождение библиометрии (глава I) и рассмотрев, каким образом она может служить инструментом для анализа развития науки (глава II), мы обрисуем все разнообразие оценок, которым уже давно подвергается мир высшего образования и научных исследований, а также то, как с середины 1970-х годов постепенно вводились в обиход библиометрические методы (глава III). Наконец, в последней главе представлен анализ показателей, наиболее часто используемых для оценки исследователей, а также критика тех злоупотреблений, к которым может приводить такое их применение.

1

Я здесь частично использую материалы моих предыдущих публикаций: Yves Gingras, “Les systèmes d’évaluation de la recherche,” Documentaliste-Science de l’information, 4, novembre 2009, pp. 34–35; “Du mauvais usage de faux indicateurs,” Revue d’histoire moderne et contemporaine, 5 (4 bis), supplt a

2

См.: Abélard, Universitas calamitatum. Le Livre noir des réformes universitaires, Broissieux, éd. du Croquant, 2003; Christophe Charle et Charles Soulié (dir.), Les Ravages de la «modernisation» universitaire en Europe, Paris, Syllepse, 2007; Franz Schultheis, Marta Roca i Escoda et Paul-Frantz Cousin (dir.), Le Cauchemar de Humboldt. Les réformes de l’enseignement supérieur européen, Paris, Raisons d’agir, 2008; Claire-Akiko Brisset (dir.), L’Université et la recherche en colère. Un mouvement social inédit, Broissieux, éd. du Croquant, 2009.

3

Информационный доклад от лица комиссии Сената по планированию: Sur le défi des classements dans l’enseignement supérieur. A

4

См.: http://www.mines-paristech.fr/Ecole/Classements/.

5

Доклад Бурдена, там же, с. 98.

6

См., например, специальные номера по оценке научных исследований следующих журналов: Le Débat, 156, 2009; L’Homme et la Société, 178, 2010; Communication et organisation, 38, 2010; Co