Страница 5 из 28
Более содержательно о метаанализе можно прочитать в Интернете на сайте http://www.statsoft.ru/statportal/tabID_50/MId_449/ModeID_0/PageID_353/DesktopDefault.aspx, но в нашем случае важны не детали, а принцип метаанализа.
Итак, из рисунка видно, что во 2-й, 4-й, 5-й, 9-й и 10-й работах результаты были отрицательны – глюкагоноподобный пептид-1 достоверно не снижал аппетит. Хотя в них отмечена определённая тенденция к положительному эффекту (средняя величина находится слева от вертикальной черты). А в остальных работах был получен достоверно положительный эффект (1-я, 3-я, 6-я, 7-я, 8-я и 11-я работы).
Предположим, что недостоверные результаты – следствие недостаточно большой группы обследования. Тогда объединение групп больных из статей в единую большую группу (с достоверными и недостоверными результатами) может дать в сумме высокодостоверный результат – нижняя точка на графике. Отсюда и название – метаанализ, т. е. анализ результатов за пределами («мета») отдельных статей. В итоге делается следующий «логический» вывод. Поскольку достоверный результат метаанализа получен в результате объединения статей с достоверными и недостоверными результатами, то следует полагать, что во всех включённых в метаанализ научных работах исследовавшийся эффект положителен. Причём достоверно положительный результат метаанализа в значительно степени зависит от включённых в него работ с достоверным эффектом. Чем в большем числе работ получен положительный результат и чем он достовернее, тем достовернее доказательство эффективности воздействия в метаанализе. Однако эта логика довольно спорна. Для того чтобы убедится в этом, рассмотрим график детальнее.
На графике видно, что из выбранных для метаанализа работ четыре принадлежат одной и той же исследовательской группе (Gitswiller и др.). Причём именно эта группа исследователей получила наиболее убедительные положительные результаты, а поскольку это одна группа, то в анализ включены фактически не четыре работы, а одна. Тогда если предположить (в качестве мысленного эксперимента), что эта научная группа провела исследование тенденциозно, и исключить её результаты из анализа, то из оставшихся исследований будет невозможно скомбинировать достоверный результат. В итоге оказывается, что в большинстве работ получен отрицательный результат. А если учесть, что публиковать предпочитают положительные результаты, реально представленная в научной литературе информация далека от полноты, и метаанализ не является идеальным методом доказательства надёжности лечения или диагностики болезней.
Метаанализ был предложен эпидемиологами всего лишь для расчёта необходимого числа больных, включаемых в исследование, чтобы гарантировать статистически достоверные показатели планируемого исследования, а не для вынесения категорических и окончательных суждений. По этой причине результаты метаанализа должны быть лишь основой для планирования клинических экспериментов, в которых полученный при метаанализе результат следует ещё подтвердить. Итак, даже серьёзные научные исследования, результаты которых были подвергнуты метаанализу, следует воспринимать достаточно критично. Хотя нужно отметить, что метаанализ признан лучшим из инструментов доказательной медицины (табл. 2.1).
Ещё один пример потенциальной ненадёжности некоторых научных экспериментов. Для усиления контроля за исследованием используют так называемый двойной слепой метод – ни больной (1-й уровень «ослепления»), ни врач (2-й уровень «ослепления») не знают, получает больной лекарственный препарат или плацебо («пустышку»). В конце исследования результаты лечения сравнивают. Очевидно, что препарат должен оказать существенно лучший эффект. Если в исследовании используют «ослепление», его называют контролируемым, а если при этом выбор плацебо/лекарства для лечения происходит случайным образом, такое исследование называют рандомизированным контролируемым (РКИ).
Лукавство РКИ можно проследить на примере известного анекдота об учёном. Незадачливый учёный решил проверить, где у блохи находится орган слуха. Для этого он некоторым блохам отрывал лапки и приказывал им прыгать. Так как без ног блохи переставали прыгать, учёный сделал «естественный» вывод, что орган слуха у блохи находится в лапках.
Дополним этот анекдот: предположим, что исследователь блох – добросовестный учёный, который решил подтвердить результат в РКИ. Для этого он попросил своего коллегу оторвать у некоторых блох лапки – в зависимости от того, выпали орел или решка. Затем поместить в мешочек блох с лапками и без них, а этот мешочек встряхнуть, чтобы блохи как следует перемешались. Далее он попросил коллегу вслепую вынимать блох из мешочка и класть на стол, а сам приказывал блохам прыгать и только после этого исследовал, есть у блохи лапки или нет. Очевидно, что и в этом случае прыгать не будут только блохи без лапок, и учёный окончательно «убедится», что орган слуха находится в лапках. При этом, как мы видим, соблюдены все формальные признаки правильного двойного слепого исследования:
• лапки отрывали не всем блохам (эффект «пустышки», т. е. контролируемость);
• лапки отрывали случайно (рандомизация);
• учёный, выбирающий блох, не знал, с лапками или нет блоха (первое «ослепление»);
• основной исследователь блох, который отдавал приказ блохам прыгать, не видел, есть ли у блохи лапки (второе «ослепление»).
И всё же вывод оказался неверен. Если эксперимент в целом неверно спланирован, даже самые изощрённые технические приёмы его организации ничего исправить не могут. В чём ошибка? В методе исследования, который не соответствует поставленной задаче – изучению слуха у блохи. Выбор движения живого существа в ответ на звук в качестве критерия «слышит/не слышит» в принципе не вызывает особых возражений, так как это общеизвестное наблюдение. Однако для этого животное должно обладать, по крайней мере, возможностью двигаться, которой учёный лишил блоху, отрывая ей лапки.
Исходя из этого, очевидно, что современная диагностика болезней должна быть основана на надёжных научных фактах, а это непросто, так как не все факты, опубликованные в научных статьях, доказанные.
В 2002 г. была предложена классификация степени надёжности научных данных[1], в которой оценивают риск медицинского вмешательства, методологическое качество исследования, и на основании этого дают рекомендации (табл. 2.1).
Степень 1 – преимущества медицинского вмешательства над вредом здоровью очевидны и полностью оправдывают затраты, в то время как при степени 2 рекомендации менее убедительны. Буквенная степень отражает качество исследования:
• А – РКИ с несомненно надёжными результатами;
• B – РКИ с менее надёжными научными результатами;
• С – наблюдательные исследования или результаты РКИ, полученные на одной группе, эстраполируются на другие группы;
• С+ – работы с недостаточно надёжными результатами из-за малого объёма исследования или по другим причинам.
Таблица 2.1.
Классификация степени надёжности научного исследования
В этой классификации важную роль в оценке надёжности диагностического теста играет расчёт его чувствительности и специфичности. Чувствительность теста вычисляют по формуле:
ЧТ = ИП/(ИП + ЛО),
где ЧТ – чувствительность теста; ИП – истинно положительный результат теста; ЛО – ложноотрицательный результат теста.
– отношение числа больных с диагнозом, подтверждённым тестом (истинно положительный результат в числителе формулы), к реальному числу больных (истинно положительный + ложноотрицательный результат в знаменателе), поэтому его можно считать показателем истинной положительности теста (положителен при болезни).
1
Montory V.M., Schunema