Обман в науке - Бен Голдакр

Иногда неправильное представление цифр выходит так далеко за рамки реального, что можно заподозрить обман. Часто эти ситуации связаны с моральными аспектами: наркотики, аборты и тому подобное. При тщательном подборе (что может показаться циничным и аморальным манипулированием фактами ради личной выгоды) вы можете заставить цифры сказать все, что вы хотите.

В газете Independent много лет выступали за легализацию марихуаны, но в марте 2007 года они поменяли свою позицию. Можно было предположить, что это результат пересмотра нравственных позиций. Однако все это было приукрашено наукой — как трусливые фанатики перешли от евгеники к запретам — и подкреплено воображаемыми фактами. «Марихуана — апология» — такой заголовок появился на первой полосе.

В 1997 году наша газета начала кампанию за легализацию марихуаны. Если бы мы тогда знали то, что стало известно сегодня… Рекордное число подростков нуждается в лечении от наркомании в результате того, что они курили сканк (разновидность марихуаны), который в 25 раз сильнее, чем гашиш, который продавался 10 лет назад.

В этом сообщении нам дважды говорят, что марихуана в 25 раз сильнее, чем была 10 лет назад. Для бывшего редактора Рози Бойкотт сканк в 30 раз сильнее, как следует из ее мелодраматических заявлений. В одной статье вопрос о силе был слегка смягчен: не «является», а «может быть». В статье даже приводились цифры: «Судебно-медицинская служба сообщает, что в начале 1990-х годов марихуана содержала 1 % тетрагидроканнабидинола (ТГК), соединения, которое изменяет сознание, а теперь это содержание повысилось до 25 %». Это чистая фантазия.

У меня есть данные Судебно-медицинской службы и более ранние данные Правительственной химической лаборатории, программы ООН по контролю наркотиков, Центра ЕЭС по мониторингy наркотиков и наркомании. Я собираюсь ими поделиться, потому что я думаю, люди сами могут принять решение по этой важной социальной и моральной проблеме, когда у них будут факты.

Средняя крепость (в % ТГК) разновидностей марихуаны (Правительственная химическая лаборатория, 1975–1989)

Данные Правительственной химической лаборатории касаются периода с 1975 по 1989 год. Гашиш содержал от 6 до 10 % ТГК, растительный каннабис — от 4 до 6 %. Четкой тенденции нет. Судебно-медицинская служба дает более современные цифры, которые показывают, что гашиш не сильно изменился, а произведенный в домашних условиях каннабис удвоил свою силу с 6 до 12–14 % (таблица дает данные 2003–2005 гг.).

Тенденция к увеличению содержания активного вещества постепенная, не очень выраженная и зависит в основном от доступности выращиваемого в домашних условиях каннабиса.

Средняя крепость (в % ТГК) разновидностей марихуаны (Судебно-медицинская служба, 1995–2002)

Среднее содержание ТГК в марихуане, захваченной в Великобритании (Судебно-медицинская служба, 1995–2002)

«В 25 раз сильнее», помните? Неоднократно, на первой странице газеты.

Если у вас есть настроение поспорить с моральными и политическими соображениями Independent, а также с очевидной и бесстыдной продажностью этой газеты, вы можете сказать, что интенсивное выращивание в помещениях растения, которое прекрасно растет на улице, — это реакция индустрии марихуаны на нелегальность продукта. Опасно импортировать наркотик в больших количествах. Опасно быть пойманным на поле с коноплей. Поэтому логично активно выращивать растение в помещениях, используя свои дорогостоящие владения, но зато производя более концентрированный продукт. Более концентрированные продукты являются, в конце концов, естественным следствием нелегальности. Вы не можете купить листья коки в Пекаме, но можете купить крэк.

На британском рынке сегодня есть, разумеется, исключительно сильные наркотики из конопли, но они были всегда. Чтобы получить страшные цифры, Independent необходимо только сравнить худшую марихуану из прошлого с лучшей сегодняшней. Это бессмысленное занятие, и кроме того, вы могли бы состряпать что-нибудь подобное и 30 лет назад, если бы захотели: цифры, иллюстрирующие отдельные примеры, доступны, и в 1975 году самая слабая разновидность марихуаны содержала 0,2 % ТГК, а в 1978-м самая сильная -12 %. Судя по этим цифрам, за три года марихуана стала в «30 раз сильнее».

И эти страхи далеко не новы. В середине 1980-х, во время войны Рейгана с наркотиками и кампании школьника Заммо «Просто скажи «нет» в популярном сериале «Грейндж Хилл», американские СМИ утверждали, что марихуана стала в 14 раз сильнее, чем в 1970 году. Посчитаем. Если она была в 1986 году в 14 раз сильнее, чем в 1970-м, и в 25 раз сильнее сегодня, чем в начале 1990-х, означает ли это, что сейчас она в 350 раз сильнее, чем в 1970-м?

Это даже не кристалл в цветочном горшке. Это невозможно. Это означало бы, что в этом растении ТГК больше, чем весь объем растения. Это потребовало бы, чтобы материя сжалась в суперплотный каннабис. Ради бога, не говорите Independent, что такое возможно.

Сейчас мы перейдем к более интересным статистическим вопросам и приведем еще одну историю из области эмоций, статью в газете The Times в марте 2006 года, озаглавленную «Кокаин заполонил детские площадки». «Использование детьми наркотиков, вызывающих зависимость, удваивается за один год» — это подзаголовок. Правда ли это?

Если вы прочитаете пресс-релиз правительственного обзора, на основании которого написана эта статья, то узнаете, что «почти не произошло изменений в употреблении наркотиков, алкоголя и табака с 2000 года». Но это был правительственный пресс-релиз, а журналистам платят за расследования: возможно, пресс-релиз о чем-то умолчал, чтобы скрыть провалы правительственной политики. Газета Telegraph также сообщает об увеличении использования кокаина вдвое, то же делает и Mirror. Означает ли это, что журналисты сами обнаружили эти новости?

Вы можете скачать этот документ из Интернета. Это опрос 9000 детей от 11 до 15 лет из 305 школ. Трехстраничный отчет, но опять-таки не демонстрирующий никаких изменений в употреблении наркотиков. Если вы посмотрите весь отчет, вы найдете «сырые» данные в таблицах: когда детей спрашивали, использовали ли они кокаин в прошлом году, 1 % детей ответили утвердительно в 2004 году и 2 % сказали «да» в 2005-м.

Итак, газеты правы: использование наркотиков удвоилось? Нет. Почти все цифры были либо 1 %, либо 2 %. Они были округлены. Государственные служащие обычно охотно помогают, если им позвонить, и я узнал, Что действительные цифры составляли 1,4 % в 2004 году и 1,9 % в 2005-м, а не 1 и 2 % соответственно. Поэтому употребление кокаина не удвоилось. Но люди все же были готовы защищать свою позицию: употребление кокаина все же увеличилось, не правда ли?

Нет. То, что мы имеем, это относительное повышение риска в 35,7 % или абсолютное повышение риска 0,5 %. Используя реальные цифры, мы получаем, что из 9000 детей только на 45 больше ответили утвердительно на вопрос: «Употребляли ли вы кокаин в прошлом году?»

Если увеличение такое небольшое, является ли оно статистически значимым? Я изучал математику и скажу «да», если пи-величина будет менее 0,05 (p < 0,05). Что означает «статистически значимый»? Это способ выразить вероятность того, что полученный вами результат можно приписать случайности. Иногда, если вы бросаете монету, у вас может выпасть «орел» пять раз подряд, особенно если вы бросаете ее достаточно долго. Представьте банку, в которой перемешаны 980 голубых и 20 красных шариков: иногда — хотя и редко — если вы тащите шарики вслепую, вы можете вытащить три красных шарика подряд, случайно. Стандартная точка отсчета для статистической значимости — это p = 0,05, и это просто другой способ сказать: «Если бы провел эксперимент 100 раз, я мог бы случайно получить ложноположительный результат в пяти случаях».

Если вернуться к конкретному примеру с детьми, давайте представим, что действительно не было разницы в употреблении кокаина, но вы провели тот же опрос сто раз: вы можете, так же как в предыдущем примере, случайно получить разницу, потому что наугад выбрали больше детей, которые принимали кокаин. Но можно ожидать, что это случится менее пяти раз в ваших ста опросах.

Итак, у нас есть повышение риска 35,7 %» которое кажется статистически значимым, но это отдельно взятая цифра. Просто взять эту цифру без контекста и сказать, что она статистически значима, будет неправильно. Статистический тест на значимость подразумевает, что каждый параметр независим, однако здесь данные «сгруппированы». Это не просто данные, это реальные дети из 305 школ. Они общаются, копируют друг друга, они покупают друг у друга наркотики, там случаются повальные увлечения, эпидемии, групповые взаимодействия.