Как оценить риски в кибербезопасности. Лучшие инструменты и практики - Ричард Сирсен

Если вы такие же, как большинство людей, то количество правильных ответов окажется меньше, чем ожидалось. Этого количества вопросов, опять же, недостаточно для измерения вашего умения оценивать неопределенность, но большинство людей настолько самоуверенны, что даже такое небольшое число вопросов может быть весьма показательным.

Одним из способов оценки результативности при прохождении подобного теста является определение вероятности, что действительно откалиброванный человек (т. е. тот, у которого каждый 90 %-ный ДИ с шансом 90 % содержит нужное значение) получит такой же результат, как у вас. Расчеты показывают, что существует лишь 1 шанс из 612, что калиброванному человеку сильно не повезет и только 5 из 10 (или еще меньше) 90 %-ных ДИ будут содержать правильные ответы. Образец электронной таблицы с расчетами и примеры более объемных тестов можно найти на сайте www.howtomeasureanything.com/cybersecurity. Но поскольку более половины респондентов, проходящих тесты, показывают настолько плохие результаты (56 %), можно смело делать вывод, что это систематическая чрезмерная уверенность, а не случайное невезение в сочетании с небольшим размером выборки. И дело не в том, что вопросы были слишком сложными, ведь результаты отражают выводы, сделанные на основе множества тестов с самыми разными вопросами за последние несколько лет. Даже при такой маленькой выборке, если в пределах вашего диапазона оказываются менее семи ответов, то вы, скорее всего, самоуверенны, а если в диапазон попадает менее пяти ответов, вы очень самоуверенны.

С тестами «верно/неверно» респонденты справляются немного лучше, но в среднем они все равно склонны к чрезмерной уверенности, настолько, что это выявляется, как правило, даже с помощью теста всего из 10 вопросов. Обычно люди ожидают правильно ответить на 74 % вопросов типа «верно/неверно», но на самом деле отвечают правильно только на 62 %. Почти треть участников предполагали, что из 10 вопросов в тестах данного типа дадут от 80 до 100 % верных ответов; но ответили правильно только на 64 % вопросов. Отчасти результаты в тесте «верно/неверно» лучше потому, что статистически он менее точен: больше шансов, что калиброванному человеку не повезет, а некалиброванный покажет результат как у калиброванного на такой небольшой выборке вопросов. Но все же, если фактическое число правильных ответов оказалось по меньшей мере на 2,5 ниже ожидаемого, скорее всего, вы слишком самоуверенны.

Дальнейшее совершенствование калибровки

Согласно научным исследованиям, на калибровку значительное влияние оказывает обучение. Выше уже упоминался тест равноценной ставки, создающий видимость связи личных последствий с результатами. Исследования доказывают, что еще одним ключевым методом калибровки способности оценивать неопределенности является повторение с обратной связью. В этом случае участникам задается несколько вопросов общей тематики вроде тех, которые были в только что пройденном вами тесте. Участники отвечают, затем им показывают правильные ответы и повторяют тест.

Однако отдельно взятый метод, похоже, не в силах полностью избавить большинство людей от природной самоуверенности. В попытке это исправить мы объединили несколько методов и выяснили, что большую часть людей можно почти идеально откалибровать.

В другом методе участникам предлагается назвать аргументы против каждой из своих оценок. Например, ваша оценка потерь из-за юридических обязательств может быть основана на другом подобном примере, произошедшем в вашей компании. Но, вспомнив, насколько разными были заявленные убытки в других компаниях, а может, и некоторые удивительные решения судов, возможно, вы пересмотрите первоначальный диапазон. Научные исследования выявили, что этот метод сам по себе значительно улучшает калибровку5.

Еще Хаббард просил экспертов, предоставляющих оценки в виде диапазона, рассматривать каждую границу диапазона как отдельный «бинарный» вопрос. Девяностопроцентный ДИ означает наличие вероятности 5 %, что истинное значение может быть выше верхнего предела, и вероятности 5 %, что оно окажется ниже нижнего предела. Значит, специалисты по оценке должны быть на 95 % уверены, что правильное значение меньше верхнего предела. Если такой уверенности нет, следует увеличивать верхний предел, пока они ее не достигнут. Аналогичный тест применяется к нижнему пределу. Выполнение этого теста, похоже, позволяет избежать якорного эффекта, упомянутого в главе 4. Напомним, что якорный эффект является своего рода зацикленностью: если у нас в голове засело какое-то число, то все остальные оценки, как правило, будут тяготеть к нему. Некоторые специалисты по оценке, составляя диапазоны, задумывают одно число, а затем складывают или вычитают «ошибку» для создания диапазона. Такой подход может казаться разумным, но на самом деле чаще приводит к тому, что у экспертов получаются «чрезмерно уверенные» диапазоны (т. е. слишком узкие). Рассмотрение же каждого предела в отдельности как самостоятельного бинарного вопроса «Вы на 95 % уверены, что предел больше/меньше этой суммы?» избавляет от склонности к якорному эффекту.

Кроме того, можно сделать так, чтобы естественная склонность к якорному эффекту работала наоборот. Вместо того чтобы начинать с точечной оценки и затем превращать ее в диапазон, начните с абсурдно широкого диапазона, а затем постепенно исключайте значения, которые считаете крайне маловероятными. Если вы понятия не имеете, насколько велики могут быть убытки от утечки данных об интеллектуальной собственности (ИС), начните с диапазона от 100 до 10 млрд долл. Затем вы поймете, что при краже ИС как минимум будут предприняты усилия по оценке убытков, и повысите нижний предел. Потом признаете, что стоимость ИС не может превышать все доходы от данного продукта, а новые технологии уменьшают срок жизни ИС, и, возможно, понизите верхний предел. И, продолжая в том же духе, вы сможете сузить диапазон, убрав все абсурдные значения.

Иногда мы называем это «тестом на абсурдность». В нем вопрос «Как я думаю, каким может быть это значение?» перефразируется на «О каких значениях я точно знаю, что они нелепы?» Ищутся и затем исключаются явно абсурдные ответы, пока не останутся варианты, которые все еще маловероятны, но уже не совсем неправдоподобны, что и будет пределом наших знаний о данной величине.

После нескольких калибровочных тестов и практики с остальными методами специалисты по оценке учатся корректировать свое «чутье вероятности». Большинство становится почти идеально калиброванными всего лишь за половину дня обучения. Главное здесь, что испытуемые хоть и тренируются на вопросах общих знаний, навык калибровки переносится на любую область оценки.

На