Как оценить риски в кибербезопасности. Лучшие инструменты и практики - Ричард Сирсен

A. Вы выиграете, если год публикации книги Ньютона окажется между датами, которые вы указали в качестве верхнего и нижнего пределов. Если нет, вы ничего не получаете.

Б. Вы вращаете барабан (рис. 7.1), разделенный на два неравных сектора, один из которых занимает 90 % поверхности, а другой – только 10 %. Если при остановке барабана стрелка окажется в большом секторе, вы выигрываете, если в маленьком – ничего не получаете (т. е. вероятность того, что вы выиграете 1000 долл., составляет 90 %).

Что предпочтете? На барабане уже определена вероятность 90 %, что вы выиграете 1000 долл., и 10 %, что ничего не выиграете. Если вы такие же, как большинство (около 80 %) людей, то предпочтете крутить барабан. Почему так? Единственное объяснение – вы считаете, что с барабаном больше шансов на выигрыш. Из чего придется сделать вывод, что 90 %-ный ДИ, указанный вами, на самом деле таковым не является. Возможно, это ваш 50 %-ный, 65 %-ный или 80 %-ный ДИ, но никак не равный 90 %. Таким образом, ваша первоначальная оценка, вероятно, была слишком самоуверенной. Стремясь показать, что вы более уверены, чем есть на самом деле, вы как раз и демонстрируете свою неуверенность.

Рис. 7.1. Вращайте и выигрывайте!

Столь же нежелательный исход – выбор варианта А, где вы выигрываете 1000 долл., если правильный ответ окажется в пределах названного вами диапазона. В этом случае вы явно уверены более чем на 90 %, что ваш диапазон содержит ответ, хотя и указываете, что уверены всего лишь на 90 %. Другими словами, такой выбор обычно характерен для недостаточно уверенного человека.

Единственный приемлемый ответ – задать диапазон так, чтобы для вас не было разницы между вариантами А и Б. Это означает, вы должны считать, что с шансом 90 % – не больше и не меньше – ответ находится в пределах вашего диапазона. Для человека с чрезмерной уверенностью (т. е. для большинства из нас) равнозначность вариантов А и Б достигается за счет увеличения ширины диапазона. А при недостаточной уверенности изначальный диапазон, наоборот, следует сужать.

Разумеется, такая же проверка применима и к бинарным вопросам. Скажем, вы на 80 % уверены в ответе на вопрос о месте рождения Наполеона. Опять же, можно выбрать между ставкой на правильность своего ответа или вращением барабана, только в этом случае выигрышный сектор барабана занимает 80 % поверхности. Если предпочтете крутить барабан, скорее всего, ваша уверенность в ответе меньше 80 %. Теперь предположим, что размер сектора на барабане изменен до 70 %. Если после этого вы решите, что шансы при вращении барабана такие же (не больше и не меньше), как и у вашего ответа, значит, можно говорить о том, что на самом деле вы уверены в правильности своего ответа на 70 %.

На занятиях по калибровке Хаббард называет это «тестом равноценной ставки» (иногда в примерах из литературы по психологии принятия решений его называют «равноценной урной», в этом случае ответы извлекаются из урны наугад). Как следует из названия, тест проверяет, действительно ли вы на 90 % уверены в диапазоне, сравнивая его со ставкой, которую вы должны посчитать равноценной. Согласно исследованиям, если притвориться, что на кону стоят деньги, то способность человека оценивать шансы значительно улучшается4. На самом деле настоящие ставки на деньги оказываются лишь немногим эффективнее, чем подобные притворные ставки.

Такие методы, как тест равноценной ставки, помогают экспертам давать более реалистичную оценку неопределенности. Людей, хорошо умеющих оценивать неопределенность (т. е. они правы в 80 % случаев, когда говорят, что уверены на 80 %, и т. д.), называют «калиброванными». Существует еще несколько простых способов совершенствования калибровки, но сначала посмотрим, как вы справились с тестом. Ответы приведены в конце главы после примечаний.

Чтобы узнать, насколько хорошо вы откалиброваны, нужно сравнить ожидаемые результаты с фактическими. Поскольку в вопросах с диапазоном требовался 90 %-ный ДИ, то, по сути, вы ожидали, что 9 из 10 правильных ответов окажутся в пределах указанных вами диапазонов. Остается только сравнить количество ответов, попавших в заявленные диапазоны, с ожидаемым количеством – 9. Если ожидания совпадут с результатами, возможно, вы хорошо откалиброваны. Выборка очень маленькая, и по ней, конечно, нельзя с полной уверенностью судить об одном человеке. Но поскольку подобные тесты прошли более 1000 человек, можно проследить закономерность даже при таком небольшом количестве вопросов.

На рис. 7.2 показаны фактическое и ожидаемое распределения ответов, попавших в заявленный ДИ в тесте из 10 вопросов (данные на рисунке на самом деле отражают результаты нескольких вариаций тестов из 10 вопросов, и результаты аналогичны для всех версий). Если бы все респонденты являлись идеально калиброванными, можно было бы ожидать, что у большинства из них (75 %) 8, 9 или 10 из 10 ответов окажутся в пределах заявленных 90 %-ных доверительных интервалов. Именно такое распределение мы бы ожидали получить, если бы бросили 10-гранный кубик 10 раз, подсчитали количество раз, когда результат был равен 9 или меньше, и повторили процесс тысячу раз. Вместо этого мы видим, что большинство людей предоставляют диапазоны, которые больше похожи на 40 %-ный или 60 %-ный ДИ, а не 90 %-ный. Те, кто случайно получил восемь или более ответов в пределах указанных диапазонов, математически согласуются с категорией некалиброванного, но удачливого «верхнего хвоста» некалиброванной популяции. То есть это не группа уже откалиброванных на момент первого теста людей.

Рис. 7.2. Распределение ответов в пределах 90 %-ных ДИ для калибровочного теста из 10 вопросов

Ожидаемый результат ответов на вопросы типа «верно/неверно» не является конкретным числом, так как степень вашей уверенности может быть разной для каждого ответа – от 50 до 100 %. Если для всех 10 вопросов вы указали 100 %, значит, ожидаете, что все 10 ответов будут верными. Если же вы были уверены в правильности каждого ответа только на 50 % (т. е. считали, что ваши шансы не лучше, чем при подбрасывании монетки), значит, ожидали, что примерно половина из них будет правильной. Чтобы вычислить ожидаемый результат, преобразуйте все обведенные процентные значения в десятичные дроби (т. е. 0,5; 0,6; 0,7; 0,8; 0,9; 1) и сложите их. Допустим, ваша уверенность в