Ошибки в оценке науки, или как правильно использовать библиометрию

Одним из побочных эффектов распространения ИНЦ, которые приходят на ум, является рост количества самоцитирований. И хотя отсечь их при измерении заметности работ исследователя не составляет труда, оказывается, что, вопреки ожиданиям[78], доля самоцитирований остается достаточно стабильной с 1980 года[79]. В целом практика самоцитирования не столь уж проблематична, тем более что у нее есть и легитимная функция: напомнить об уже опубликованных автором работах, на которые опираются его нынешние труды. На самом деле мотивации цитирования собственных и чужих работ в общем-то схожи[80].

Многочисленные критические высказывания в адрес практик цитирования – некоторые обоснованные, другие не очень (как мы только что увидели) – набрали силу внутри академического поля за последние два десятка лет лишь вследствие все более частого использования показателей цитирования для оценки качества научных исследований как на индивидуальном, так и на институциональном уровне. Действительно, критика самоцитирования или ссылок на своих имеет смысл только в свете того, что ссылки стали чем-то вроде валюты, используемой в процессе оценивания исследователей. Поэтому стоит рассмотреть вопрос оценивания более подробно.

Глава III. Оценочный бум

С недавних пор участились разговоры о важности оценки научных исследований, и поэтому может создаться впечатление, что в предыдущие эпохи ученых не оценивали. Необходимо прояснить это недоразумение и напомнить, что возникновение оценочных процедур датируется началом институционализации науки, а их сфера применения впоследствии расширялась по мере появления новых организационных структур. С середины XVII века и до наших дней исследователи всегда подвергались оценке.

Проблема состоит не столько в оценивании как таковом, сколько в расширении его применения. В результате исследователям поступает все больше запросов на оценку их коллег, и некоторые отвечают на эти запросы отказом, не желая отрывать время от собственной работы[81]. И хотя некоторые ученые, видимо, считают, что работу мысли оценить невозможно, следует напомнить, что оценивание на разных уровнях уже давно осуществляется в следующих сферах:

1) научные публикации и доклады;

2) запросы на финансирование исследований;

3) преподавание в высшей школе;

4) продвижение по должности;

5) научные центры и департаменты;

6) учебные программы в высшей школе;

7) с конца 1980-х годов в некоторых странах к этому списку прибавилась оценка самих университетов.

Оценка публикаций

Не будет преувеличением сказать, что практика оценки научных трудов восходит к созданному в марте 1665 года журналу Лондонского королевского общества Philosophical Transactions. Его главным редактором был один из двух секретарей этого ученого общества Генри Ольденбург. Это издание представляло собой прототип современного научного журнала: его содержание ограничивалось сферой науки и включало книжные рецензии, оригинальные статьи и перепечатки статей из иностранных источников. Уже в анонсе проекта этого нового издания уточнялось, что его содержание будет «рецензироваться членами Общества»[82]. Сам Исаак Ньютон испытал на себе превратности оценивания, подав в 1672 году свою первую статью в Philosophical Transactions Лондонского королевского общества. Рецензентом был назначен Роберт Хук, не обнаруживший в произведении Ньютона ничего оригинального и даже посчитавший, что заключения автора ошибочны в свете его собственной теории света, опубликованной несколькими годами раньше. Ньютон же имел дерзость не снизойти даже до ее упоминания. Такая оценка, разумеется, ввергла Ньютона в страшный гнев…[83]

Долгое время оценивание науки ограничивалось оценкой публикаций коллег и соперников в научном поле. Поначалу журналы имели общий профиль и охватывали несколько областей, а позже, в течение XIX века, специализировались и стали отраслевыми. С появлением дисциплинарных журналов связано формирование относительно независимых друг от друга областей, объединяющих исключительно представителей одной дисциплины (химия, математика, физика и т. п.)[84].

До начала XX века оценивание носило достаточно формальный характер: редактор журнала или редколлегия решали, достаточно ли им компетенции, чтобы самим оценить предложенный текст, а если нет, то выбирали среди своего близкого окружения эксперта, способного написать отчет о значимости присланного текста. Доля отказов в публикации в целом была очень незначительной. Даже в A