Как оценить риски в кибербезопасности. Лучшие инструменты и практики - Ричард Сирсен

уже в этом первоначальном исследовании Мил смог процитировать более 90 работ, оспаривавших предполагаемый авторитет экспертов7. Исследователи, к примеру Робин Доус (1936–2010) из Мичиганского университета, с воодушевлением продолжили работу в этом направлении. И каждые новые результаты, полученные ими, только подтверждали выводы Мила, несмотря на то что они расширили охват, включив также специалистов, не занимающихся клинической диагностикой8, 9, 10. Собранная в итоге библиотека исследований включала сведения, предсказывающие средний балл успеваемости первокурсников и студентов-медиков, рецидив преступлений, медицинские прогнозы и результаты спортивных событий. После того как число исследований значительно возросло, Мил был вынужден констатировать следующее:

В социальной науке нет ни одного противоречия, которое показало бы такое большое количество качественно разнородных исследований, приводящих к столь схожим результатам, как в данном исследовании. Когда вы проводите 90 экспериментов [теперь уже ближе к 150], предсказывая всё – от исхода футбольных матчей до заболеваний печени, – и при этом с трудом можете найти полдюжины исследований, показывающих хотя бы слабую тенденцию в пользу [экспертов-людей], самое время сделать практический вывод11.

В указанном исследовании применялись довольно простые методы. Экспертов просили предсказать какие-либо объективно проверяемые результаты, например потерпит ли новый бизнес неудачу или какова будет эффективность химиотерапии для больного раком. Затем составляли прогноз для того же явления, используя алгоритм, основанный только на данных за прошлые периоды. И, наконец, тестировали оба метода на большом количестве прогнозов и определяли, какой из них работает лучше.

Убедительные выводы Мила и его коллег неизбежно привлекли интерес других исследователей, которые стали искать подобные явления в других областях. В одном из недавних примеров, исследовании компании, занимающейся разведкой нефти, отмечалась тесная взаимосвязь между использованием количественных методов (в том числе симуляций по методу Монте-Карло) для оценки рисков и финансовой успешностью компании12, 13. В НАСА симуляции Монте-Карло на основе ранее полученных данных применяются наряду с более мягкими методами (основанными на субъективных шкалах) для оценки рисков превышения стоимости, срыва сроков и провала миссии. При оценке затрат и срывов расписания, полученной с помощью количественных методов, ошибки в среднем случались вполовину реже, чем у ученых и инженеров, использующих неколичественные методы14.

Пожалуй, самым амбициозным исследованием такого рода является эксперимент, который в течение 20 лет проводил Филип Тетлок. Результаты Тетлок опубликовал в книге Expert Political Judgment: How Good Is It? («Экспертное политическое суждение: насколько оно хорошо?»). Название указывает на конкретную область, но автор трактовал проблему достаточно широко, включая в нее экономику, военные вопросы, технологии и многое другое. Он отслеживал вероятности мировых событий, которые предсказывали в общей сложности 284 эксперта в соответствующих областях. К концу исследования было собрано более 82 000 отдельных прогнозов15 (это означает, что по объему данные Тетлока равны или превосходят данные III фазы крупнейших клинических испытаний лекарств, опубликованных в научных журналах). Исходя из полученных данных, Тетлок был готов сделать еще более сильное заявление, чем Мил с коллегами:

Невозможно найти область, в которой люди явно превосходили бы примитивные алгоритмы экстраполяции, не говоря уже о сложных статистических алгоритмах.

Почему так происходит?

Робин Доус, один из упоминавшихся ранее коллег Мила, подчеркивал, что низкая эффективность людей в задачах прогнозирования и оценки возникает отчасти из-за неточной интерпретации вероятностной обратной связи16. Те исследователи стали рассматривать эксперта как своего рода несовершенного посредника между входными данными и результатом. Очень немногие эксперты действительно проверяют свою эффективность с течением времени. К тому же они склонны обобщать собственные воспоминания об отдельных несистематических наблюдениях. Затем эксперт делает приблизительные выводы из этих выборочных воспоминаний, и, согласно опубликованному Доусом исследованию, это может привести к «иллюзии обучения», т. е. эксперты могут интерпретировать опыт как свидетельство результативности. Они полагают, что многолетний опыт должен привести к повышению эффективности, и потому считают, что так и происходит на самом деле. Но, как выяснилось, нельзя считать, что обучение происходит само собой, и неважно, сколько лет опыта накоплено.

Тетлок в своей книге предположил, что «у людей эффективность ниже, поскольку в глубине души мы мыслим причинно-следственными категориями и испытываем отвращение к вероятностным стратегиям, допускающим неизбежность ошибок». Математика взаимодействия с ошибками и неопределенностью – это математика вероятностей. Если не осмыслить ее, то возникнут большие трудности с вероятностным прогнозированием проблем. Если человек не силен в простой арифметике, нас же не удивит, что он будет тогда плохо разбираться в оценке, скажем, стоимости и продолжительности крупного, сложного инженерного проекта со множеством взаимосвязанных элементов. И покажется естественным, что кому-то разбирающемуся в таких оценках будет известно, как перемножить количество людей, участвующих в работе, стоимость их труда и продолжительность выполнения проекта, чтобы оценить требуемые трудозатраты. А также этот человек будет знать, как суммировать затраты на решение отдельных задач с другими расходами по проекту (например, на материалы, лицензию, аренду оборудования и т. д.).

Поэтому, когда эксперты говорят, что, исходя из определенного опыта и данных, одна угроза представляет собой больший риск, чем другая, они, осознанно или нет, занимаются своего рода вычислениями в уме. Это не значит, что эксперты буквально пытаются складывать числа в уме, скорее, они действуют в соответствии со своим чутьем в отношении чего-то, что во многих случаях действительно можно вычислить. Насколько хорошо наша интуиция соответствует математическим фактам, также измерялось во множестве исследований, включая работу израильско-американского психолога, лауреата премии по экономике памяти Альфреда Нобеля 2002 года, Даниэля Канемана и его коллеги Амоса Тверски. Они выяснили, что даже хорошо разбирающиеся в статистике исследователи склонны сильно ошибаться в определении вероятности того, что новые данные подтвердят или опровергнут результаты предыдущего эксперимента с заданным размером выборки17. И кроме того, они склонны неверно оценивать ожидаемые вариации наблюдений в зависимости от размера выборки18.

Под «хорошо разбирающимися в статистике» мы подразумеваем, что участники этого исследования были настоящими учеными, чьи работы публиковались в уважаемых, рецензируемых журналах. Как отметили Канеман и Тверски в своем исследовании: «Дело не в том, что они должны знать математику, они знали математику». Получается, что и те, кто знает математику, полагаются на свою интуицию, а интуиция ошибается. Даже для квалифицированных ученых различные повторяющиеся (но устранимые) математические ошибки – лишь одна из трудностей, возникающих из-за попыток заниматься «вычислениями в уме».