Обман в науке - Бен Голдакр

Мы должны также помнить, что живем не в лаборатории, а в реальном мире. Достаточно легко съесть 100 граммов макрели — если бы это была другая книга, я бы дал вам свой рецепт кеджери (индийское блюдо) прямо сейчас, — но достаточно трудно проглотить даже столовую ложку семян льна. Точно так же петрушка является прекрасным источником витамина С, но вы вряд ли съедите пучок петрушки размером с апельсин. Что касается того, что льняное семя «идеально сбалансировано», то я не знаю, имеет ли она в виду духовно или биологически, но в рыбе больше омега-3-кислот, да и на вкус она приятнее, по мнению большинства людей.

Кстати, почему все говорят об омега-3? Об этом в следующей главе.

8. «Пилюли решают сложные социальные проблемы»

В 2007 году «Британский медицинский журнал» (British Medical Journal) опубликовал большое рандомизированное контролируемое исследование, проведенное во многих местностях и финансируемое государством, результат которого был поразительно положительным: оно показало, что один метод лечения может существенно уменьшить антиобщественное поведение детей. Этот метод был совершенно безопасен, и исследование даже сопровождалось очень убедительным анализом его экономичности.

Появилось ли сообщение об этом на первой полосе Daily Mail, естественного прибежища чудесных исцелений (и зловещих скрытых страхов)? Было ли опубликовано продолжение на страницах, посвященных здоровью, с сопровождающими фотографиями, описанием чудесного выздоровления ребенка и интервью со счастливой мамой, с которой мы все могли себя отождествить?

Нет. Эту историю единодушно проигнорировали британские средства массовой информации, несмотря на их озабоченность как антиобщественным поведением, так и чудесными исцелениями, по одной простой причине: это исследование не было связано с таблетками. Оно было посвящено дешевой, практичной воспитательной программе.

В то же время на протяжении уже более пяти лет газеты и телевидение пытаются убедить нас с помощью «науки», что пилюли с рыбьим жиром улучшают детские способности. Коэффициент интеллекта (IQ), поведение, внимание, школьные отметки — все улучшается. На самом деле ничего подобного. Нам предстоит получить несколько уроков: о средствах массовой информации, о том, как не следует проводить клинические испытания, и о всеобщем желании иметь наукообразные, насыщенные медицинскими терминами объяснения наших повседневных проблем. Работают ли пилюли с рыбьим жиром? Способствуют ли они тому, что ваш ребенок станет умнее и будет вести себя лучше? В настоящий момент ответ на эти вопросы звучит так: никто не знает. Несмотря на многочисленные заявления, никто не проводил серьезных исследований на обычных детях.

Газеты пытаются заставить вас поверить в обратное. Я впервые узнал о Даремских испытаниях, когда увидел в новостях, что планировались испытания капсул с рыбьим жиром на 5000 детей. С учетом новостных приоритетов британских СМИ это исследование остается, я вполне готов предположить, пожалуй, единственным хорошо освещенным клиническим испытанием за последние несколько лет. Оно появилось на Четвертом канале и ITV, во всех национальных газетах, причем иногда — по нескольку раз. Убедительные результаты были самонадеянно предсказаны.

Тревожный звонок прозвенел по двум причинам. Во-первых, я знал результаты предыдущих исследований капсул с рыбьим жиром на детях — я опишу их в свое время, — и они не были оптимистическими. Кроме того, есть такое правило: если кто- нибудь говорит вам, что результаты испытаний будут положительными, еще до того, как испытания начались, знайте — вам предстоит услышать интересную историю.

Вот что планировалось сделать в этих исследованиях: взять 5000 детей, которым предстояло сдавать экзамены на школьный аттестат, давать им по шесть капсул с рыбьим жиром в день, затем сравнить их результаты на экзаменах с теми оценками, которые ожидались бы от них без приема капсул. Контрольная группа, которая для сравнения принимала бы капсулы с плацебо, отсутствовала (в отличие от экспериментов с «Аква Детоксом» и ушными свечами, где мы могли провести контролируемые испытания).

Сейчас вам, вероятно, можно уже не говорить, что это абсурдный и расточительный способ проводить исследование пилюли, которая должна улучшить школьные успехи, имея щедро подаренные вам капсулы стоимостью 1 миллион фунтов и 5000 детей в своем распоряжении. Но давайте повеселимся: если мы сначала рассмотрим теоретические вопросы, то потом «испытания» в Дареме покажутся еще более забавными.

Если вы разделите всех детей на две равные группы и дадите капсулы с плацебо одной, а капсулы с действующим веществом другой, вы сможете сравнить успехи каждой группы и посмотреть, действительно ли разница объясняется ингредиентами в пилюле или на успехи влияет сам факт приема пилюль и участия в испытании. Почему это важно? Потому что вы должны помнить: что бы вы ни делали с детьми в процессе испытания пилюли для улучшения их школьных результатов, их результаты улучшатся.

Во-первых, детские навыки совершенствуются в любом случае: они растут, время идет, и их результаты улучшаются. Вы можете считать, что вы умный, когда сидите без слюнявчика и читаете эту книгу, но ведь так было не всегда, о чем вам может рассказать ваша мама.

Во-вторых, дети — и их родители — знают, что им дают таблетки для улучшения их школьных оценок, поэтому на них будет действовать эффект плацебо. Я уже достаточно распространялся на эту тему, поскольку считаю, что настоящая научная связь между телом и разумом гораздо более интересна, чем все, что выдумывают в сообществе сторонников чудесных исцелений, и здесь достаточно напомнить, что эффект плацебо очень мощный: сознательно или бессознательно дети будут ждать улучшения, и этого же будут ждать их родители и учителя. Дети чрезвычайно чувствительны к тому, чего мы от них

ждем, и каждый, кто в этом сомневается, должен отказаться от звания родителя.

В-третьих, дети будут учиться лучше только потому, что их отобрали в специальную группу, которую исследуют, наблюдают, уделяют ей повышенное внимание: сам факт, что они участвуют в испытаниях, улучшит их учебу или будет способствовать выздоровлению от болезни. Этот феномен называют «эффектом Готорна», не по имени человека, а по названию фабрики, где его впервые наблюдали. В 1923 году Томас Эдисон (тот, что изобрел лампочку) был председателем Комитета по связи качества и количества освещения с эффективностью промышленности.

Различные отчеты промышленных компаний заставляли предположить, что лучшее освещение может увеличить производительность труда, поэтому исследователь по фамилии Деминг решил со своей командой проверить эту теорию на одном из заводов компании Western Electric, фабрике Готорна в городе Цицеро, штат Иллинойс.

Я приведу упрощенную «невероятную» версию результатов в качестве редкого компромисса между педантизмом и простотой. Когда исследователи увеличили освещенность в помещении, они обнаружили, что производительность выросла. Но когда они уменьшили освещенность, производительность также выросла. Фактически, что бы они ни делали, производительность росла. Этот результат очень важен: когда вы говорите рабочим, что они участвуют в эксперименте, который может улучшить производительность труда, а потом что-то делаете, то производительность растет. Это своего рода эффект плацебо, поскольку плацебо — это не только сахарные пилюли, это культурное значение вмешательства, которое включает, среди прочего, ваши ожидания и ожидания людей, которые что-то с вами делают.

Помимо всяких технических подробностей, мы также должны поместить результаты выпускных школьных экзаменов — собственно, то, что измерялось в этих испытаниях — в нужный контекст. В Дареме всегда была неважная статистика результатов школьных экзаменов, поэтому местный совет будет усиленно бороться за то, что может эту статистику улучшить, используя различные инициативы, дополнительное финансирование и эксперименты с рыбьим жиром.

Мы также должны вспомнить ту особую английскую традицию, согласно которой результаты школьных экзаменов улучшаются год от года. Однако любой, кто попробует утверждать, что экзаменационные задания просто становятся менее сложными, будет подвергнут критике за то, что недооценивает успехи школьников. На самом деле это упрощение становится очевидным, если мы посмотрим экзаменационные задания О-уровня сорокалетней давности и убедимся, что они сложнее, чем современные задания A-уровня, а сегодняшние задания по математике на выпускных экзаменах в университете легче, чем старые школьные А-уровня.