Обман в науке - Бен Голдакр

Вот аналогия.

Представьте, что я стою около большого деревянного сарая с большим автоматом в руках. Я надеваю на глаза повязку и начинаю беспорядочно палить, выпуская в сторону сарая тысячи пуль. Затем я бросаю автомат, подхожу в стене и внимательно в течение некоторого времени изучаю следы от пуль. Я нахожу место, где три пули попали в стену рядом, обвожу это место как мишень и заявляю, что я отличный стрелок.

Я думаю, вы не согласитесь ни с моим методом, ни с моими результатами. Но именно это и произошло в случае с Лусией: обвинители обнаружили семь смертей в смену одной медсестры, в одной больнице, в одном городе, в одной стране в мире, а затем нарисовали вокруг них мишень.

Это нарушает основное правило любого исследования, связанного со статистикой: вы не можете найти вашу гипотезу в ваших результатах. Прежде чем вы подвергнете данные статистическому анализу, вы должны уже иметь гипотезу для проверки. Если ваша гипотеза является результатом анализа данных, то нет смысла анализировать те же данные, чтобы ее подтвердить.

Это довольно сложная, философская математическая форма круговорота: но в этом случае есть также очень конкретные формы «кругового» рассуждения. Чтобы собрать больше данных, следствие вернулось в палаты посмотреть, не было ли там подозрительных смертей. Но люди, которых просили припомнить подозрительные случаи, уже знали, что Лусия может быть серийным убийцей. Существовал высокий риск того, что фраза «случай был подозрительным» станет синонимом фразы «Лусия была на дежурстве». Несколько внезапных смертей в те дни, когда Лусии не было на дежурстве, исключались из расчетов по определению: они не были подозрительными, потому что Лусии в это время не было.

Еще хуже. «Нас попросили составить список случаев, которые произошли во время или вскоре после дежурств Лусии», — сказала одна сотрудница больницы. Таким образом, были исключены другие случаи и увеличилась вероятность подозрительных смертей в смены Лусии. А тем временем она сидела в тюрьме в ожидании суда.

Это сюжет для ночных кошмаров.

В то же время огромное количество статистической информации было почти полностью проигнорировано. За три года, до того как Лусия начала работать в этой палате, там было семь смертей. За три года ее работы в этой палате произошло шесть смертей. Вот вам пища для размышлений: кажется, что смертность в палате снизилась в тот момент, когда там появилась маньячка. Если она убила их всех, то это означает, что в палате вообще не было естественных смертей за все три года, что она там работала.

С другой стороны, как установил прокурор на суде, Лусия увлекалась магией. И отрывки из ее личного дневника, которые зачитывались на суде, звучали довольно странно. Она могла совершить преступление.

Но самое странное в этом случае вот что. В выведении этой умопомрачительной цифры в стиле Роя Медоу (1:342 000 000) прокурорский статистик сделал элементарную математическую ошибку. Он объединил отдельные статистические тесты, перемножив пи-величины, то есть математическое выражение вероятности или статистической значимости. Это немного сложно, и это будет опубликовано, но я тем не менее собираюсь это написать: необходимо не просто перемножать пи-величины, а рассчитывать с помощью специальной методики типа «метода Фишера для комбинирования независимых пи-величии».

Если вы их перемножите, то безобидные и вероятные события быстро превратятся в крайне невероятные. Допустим, вы работали в 20 больницах, в каждой их которых произошел безобидный инцидент: пи-величина p = 0,5. Если вы перемножите эти величины, характеризующие совершенно случайные события, вы получите итоговое значение p = 0,520, то есть р < 0,000001, что является абсолютно статистически значимым. При такой математической ошибке и соответствующем рассуждении, если вы часто меняете больницы, в которых работаете, вы автоматически становитесь подозреваемым. Вы работали в 20 больницах? Пожалуйста, не говорите об этом голландской полиции.

15. Медицинские страхи

В предыдущей главе мы рассматривали индивидуальные случаи: они могли быть вопиющими и в некоторых отношениях абсурдными, но спектр вреда, которые они могли причинить, ограничен. Мы уже видели на примере совета доктора Спока о том, как младенцы должны спать, что, когда вашему совету следует большое количество людей, а вы не правы, даже при самых лучших намерениях вы можете нанести большой вред, поскольку риск возрастает с увеличением количества людей, которые начинают менять свое поведение.

По этой причине журналисты несут особую ответственность, и вот почему мы посвятим последнюю главу этой книги изучению процессов, которые стоят за двумя очень показательными журналистскими страшилками: обманами по поводу метициллин резистентного золотистого стафилококка (MRSA) и вакцины MMR. Но как всегда, то, о чем мы будем говорить, выходит за рамки этих двух историй, и мы будем неоднократно отвлекаться от них.

Есть много способов, которыми журналисты могут обманывать читателя: тенденциозный подбор данных или манипуляция статистикой; паника по поводу простуды или ссылки на утверждения авторитетных фигур. Страдания по поводу MRSA 2005 года ближе к тому, что можно назвать «много шума из ничего», чем все то, на что я натыкался до сих пор.

Я впервые узнал, что происходит, когда мне позвонил мой друг, «работающий под прикрытием» журналист на телевидении. «Я только что получил работу уборщика, чтобы взять мазок с метициллин резистентным стафилококком для моего “грязного больничного скандала с супермикробами”, - сказал он, — но результаты получились отрицательными. Что я сделал неправильно?» Я был счастлив помочь и объяснил, что этот штамм стафилококка плохо выживает на окнах и дверных ручках. Истории, которые он везде слышал, были либо придуманы, либо… сфабрикованы. Через десять минут он перезвонил и триумфально заявил: он поговорил с журналисткой из одного известного таблоида, и она сказала ему точно, в какую лабораторию следует отдавать мазки на анализ: «Эта лаборатория всегда дает положительные результаты», — это ее слова. Оказалось, что это лаборатория Chemsol Consulting, которой руководит доктор Кристофер Малишевич (Christopher Malyszewicz). Если вы когда-нибудь видели скандал с положительным мазком на наличие супермикроба MRSA, то он явно происходил оттуда. Они все оттуда.

Микробиологи из различных больниц были обескуражены, когда их учреждения пали жертвой этой истории. Они брали мазки с тех же самых поверхностей, посылали их в разные авторитетные лаборатории, включая свои собственные, но в этих мазках ничего не вырастало, все результаты были отрицательными, в отличие от результатов Chemsol. Статья известного микробиолога, который описал весь этот процесс в отношении больницы при Университетском колледже Лондона, была опубликована в одном из самых авторитетных академических журналов и демонстративно проигнорирована всеми средствами массовой информации.

Прежде чем пойти дальше, следует прояснить одну вещь, которая связана со всем этим разделом книги: очень благоразумно беспокоиться о своем здоровье и учитывать факторы риска. Не стоит доверять авторитетам и в данном конкретном случае: множество британских больниц не настолько чисты, как нам бы хотелось. В Великобритании MRSA более распространен, чем в других странах, и тому есть несколько причин, включая меры по контролю инфекции, чистоту, порядок прописывания лекарств или что- то другое, о чем мы пока не подумали (я уже заговорился).

Но мы говорим об одной частной лаборатории, у которой масса работы благодаря журналистам, которые тайно берут в больницах мазки, чтобы раздуть из этого историю, и которая выдает сплошь положительные результаты.

Я решил позвонить доктору Крису Малишевичу и спросить, как так получается.

Он ответил, что не знает, и предположил, что больничные микробиологи, вероятно, берут мазки не в тех местах и не в то время. Он объяснил, что они, наверное, некомпетентны. Я спросил, почему таблоиды всегда выбирают его лабораторию (и написали уже более двадцати статей, включая памятную «швабру смерти» на первой полосе газеты Sunday Mirror). Он понятия не имел. Я спросил, почему многие микробиологи утверждают, что он отказывается полностью раскрыть свои методы, когда они хотят повторить их в своих лабораториях, чтобы понять это несоответствие результатов. Он сказал, что он ничего не скрывает (я теперь подозреваю, что он так запутался, что сам поверил, что это правда). Он также неправильно произносил названия некоторых известных бактерий.

Тут я спросил доктора Малишевича о его дипломе. Я не люблю критиковать работу человека, основываясь только на его личности, но в данных обстоятельствах вопрос казался уместным. На основании нашего телефонного разговора у меня как-то не сложилось впечатления, что это человек с достаточным интеллектом, чтобы руководить сложной микробиологической лабораторией.