Отмененный проект - Майкл Льюис

Эксперты из реального мира, чье мышление орегонские исследователи стремились понять в первую очередь, были клиническими психологами. Однако исследователи полагали, что результаты будут применимы к любому человеку, профессионально принимающему решения – врачу, судье, метеорологу, бейсбольному скауту и так далее. «Мы понимали, – говорит Пол Словик, – что делаем что-то очень важное: пытаемся охватить цифрами то, что кажется сложным, таинственным и интуитивным».

В конце 1960-х годов Хоффман и его соратники пришли к некоторым неожиданным выводам. Они хорошо отражены в статьях, написанных Лью Голдбергом. Первую статью он опубликовал в 1968 году в научном журнале American Psychologist. Голдберг начал с указания на значительное количество исследований, продемонстрировавших, что экспертное заключение показало себя менее надежным, чем алгоритмы. «Я могу обобщить этот растущий корпус литературы, – писал Голдберг, – отмечая, что для довольно большого массива клинических задач (в том числе и тех, ради которых мы специально выбираем врача получше, а страховщика похуже) простые формулы могут быть настроены так, чтобы выполнять их на уровне не ниже, чем клинический эксперт».

Итак, что делает клинический эксперт? По мнению Голдберга, он, как и любой, кто сталкивается с проблемами – врач, например, когда диагностирует пациента, – должен мыслить комплексно. Далее Голдберг предположил, что любая модель, стремящаяся запечатлеть мышление, также должна быть комплексной. Например, психолог из Университета Колорадо, изучая, как его коллеги-психологи предсказывали, кто из молодых людей будет иметь проблемы с адаптацией к колледжу, записывал их разговоры друг с другом, смотрел, как они изучали данные о своих пациентах, а потом пытался написать сложную компьютерную программу, имитирующую мышление. Голдберг говорил, что предпочел бы начать с простого, и в своем первом проекте исследовал способ, каким врачи диагностируют рак.

Он рассказал, что Орегонский научно-исследовательский институт завершил исследование врачей. Группу радиологов спросили: как вы решаете, глядя на рентгеновский снимок желудка, есть ли у человека рак? Врачи ответили, что есть семь основных признаков, на которые они обращают внимание: размер язвы, форма ее границ, ширина кратера, которую она образует, и так далее. «Сигналы», как Голдберг назвал их следом за Хоффманом. Очевидно, существовало много различных комбинаций из семи «сигналов», и врачам приходилось искать их значение в каждом из многочисленных сочетаний. Размер язвы мог означать одно, если ее контуры были ровными, и совсем другое – если неровными. Голдберг указал на то, что специалисты, как правило, описывают свои мыслительные процессы как тонкие и сложные для моделирования.

Исследователи из Орегона начали с создания очень простого алгоритма, в котором вероятность того, что язва злокачественная, зависела от семи факторов, упомянутых врачами, в равной степени значения. Затем ученые попросили врачей оценить вероятность рака в девяносто шести различных случаях язв желудка по семибалльной шкале – от «определенно злокачественная» до «определенно доброкачественная». Не сказав врачам об этом, исследователи показали им каждую язву два раза, хаотично смешивая дубликаты так, чтобы врачи не заметили, что их попросили диагностировать одну и ту же язву дважды. Исследователи перенесли все данные на перфокарты и отправили в Лос-Анджелес, где их проанализировали на большом университетском компьютере. Цель исследователей заключалась в том, чтобы проверить, можно ли создать алгоритм, который будет имитировать принятие решений врачом.

Эта первая попытка, по мнению Голдберга, была просто отправной точкой. Алгоритму со временем предстоит стать более сложным, что потребует продвинутой математики – для учета тонкостей мышления врачей о «сигналах». Например, особенно большой размер язвы мог привести к пересмотру значений остальных шести параметров.

Но затем из Лос-Анджелеса пришли проанализированные данные, и история стала тревожной. (Голдберг описал результаты как «в целом ужасающие».) Во-первых, простая модель, которую исследователи создали в качестве отправной точки для понимания того, как врачи ставят свои диагнозы, уже могла исключительно хорошо предсказывать диагнозы врачей. Врачи хотели бы верить, что их мыслительные процессы очень тонкие и сложные, однако прекрасно справлялась и незамысловатая модель. Что не означает, что их мышление обязательно нетонкое и несложное, просто оно могло быть отражено даже незамысловатой моделью.

Удивительным было другое: эксперты не соглашались друг с другом. Картина стала совсем уж поразительной, когда сравнили диагнозы дубликатов одной и той же язвы. Каждый врач противоречил сам себе и ставил более чем один диагноз. Врачи, видимо, не могли договориться даже сами с собой. «Выводы предполагают, что диагностическое согласие в клинической медицине встречается ненамного чаще, чем в клинической психологии, – вот вам пища для размышлений перед следующим визитом к врачу», – писал Голдберг. Если врачи не согласны между собой, они, конечно же, не могут все быть правы.

Затем ученые повторили свой эксперимент. Психиатры предоставили клиническим психологам список факторов, которые учитываются при принятии решения, безопасно ли освободить пациента из психиатрической больницы. И вновь эксперты противоречили друг другу и самим себе. Еще более дико, что едва закончившие обучение юнцы были так же точны, как и их опытные коллеги (высокооплачиваемые профессионалы), предсказывая, что данный психиатрический пациент будет вытворять, если вы его отпустите.

Опыт эксперта, как оказалось, не имеет большого значения и при оценке, скажем, находится ли человек на грани самоубийства. Или, как сформулировал Голдберг, «точность ответа не связана с суммой профессионального опыта специалиста».

Голдберг пока не торопился обвинять врачей. Ближе к концу своего доклада он отметил, что проблема, возможно, в том, что врачи и психиатры редко могут судить о точности своего мышления и при необходимости изменить его. Что у них не было «мгновенной обратной связи». И он со своим коллегой по Орегонскому научно-исследовательскому институту Леонардом Рорером пытался предоставить эту обратную связь. Голдберг и Рорер дали двум группам психологов тысячи гипотетических случаев для диагностики. Одна группа получала немедленную обратную связь на свои диагнозы; вторая – нет. Исследователи хотели понять, будут ли те, кто получил обратную связь, улучшать свои показатели.

Результаты приводили в ужас. «Теперь выясняется, что наша первоначальная формулировка проблем обучения постановке клинических заключений была чересчур простой. Даже получение обратной связи ее не решает», – писал Голдберг. В какой-то момент один из его коллег сделал радикальное предложение. «Кто-то сказал, что модель, которую мы создали для прогнозирования действий врачей, на самом деле может быть лучше, чем сами врачи, – вспоминает Голдберг. – Я подумал, господи, какая глупость». Как могла их простая модель быть лучше, скажем, в диагностике рака, чем врач? Ведь модель была создана, по сути, врачами. Они дали исследователям всю информацию для нее.

Орегонские исследователи, тем не менее, проверили эту гипотезу. И она оказалась правдивой. Если вы