Как оценить риски в кибербезопасности. Лучшие инструменты и практики - Ричард Сирсен

правой). Когда участники заявляли, что уверены на 50 %, они оказывались правы примерно в 65 % случаев. Это означает, что они, возможно, знали больше, чем говорили, и – только в этой части графика – были немного неуверенны. Такие результаты близки к 50 % и могут быть случайными. Существует 1 %-ная вероятность, что 44 или более из 68 человек окажутся правы, просто загадав ответ и подбросив монетку.

Чуть более значительное отклонение – имеется в виду статистически, а не визуально – наблюдается на другом конце шкалы. Там, где аналитики указывали высокую степень уверенности, случайность вызвала бы лишь незначительное отклонение от ожидаемого результата, а значит, на этом конце графика они были немного самоуверенны. Но в целом аналитики оказались очень хорошо откалиброваны.

Для сравнения, результаты клиентов компании, не проходивших обучение калибровке (обозначены маленькими треугольниками), свидетельствуют об очень большой самоуверенности. Цифры рядом с результатами калибровки показывают, что в 58 случаях конкретный клиент заявлял об уверенности на 90 % в определенном прогнозе. Из этих случаев верными оказались менее 60 % прогнозов. Клиенты, указавшие, что они на 100 % уверены в правильности прогноза, в 21 случае получили только 67 % правильных ответов. Все эти результаты соответствуют данным ряда других исследований калибровки за последние несколько десятилетий.

Не менее интересен тот факт, что аналитики Giga на самом деле не дали большее число правильных ответов (вопросы были общими для IT-индустрии и не касались специальностей аналитиков). Они просто проявляли немного больше осторожности в отношении прогнозов с высокой степенью уверенности. Однако до начала обучения по калибровке аналитики в ответах на вопросы из области общих знаний показывали такие же плохие результаты, как и клиенты при прогнозировании реальных событий. Вывод очевиден: разница в точности полностью обусловлена обучением калибровке, а обучение калибровке, даже если в процессе него используются вопросы на общие знания, работает для реальных прогнозов.

Многие из прежних читателей и клиентов Хаббарда проводили собственные семинары по калибровке и получали различные результаты в зависимости от того, насколько точно они следовали разобранным здесь рекомендациям. В каждом случае, когда у них не получалось откалибровать такой процент людей, как на семинарах Хаббарда, оказывалось, что они на самом деле обучали не всем стратегиям калибровки, указанным в табл. 7.3. В частности, не применялась равноценная ставка, которая, похоже, является одной из наиболее важных стратегий калибровки. Те, кто придерживался описанных стратегий и отрабатывал их в каждом упражнении, неизменно получали результаты, аналогичные тем, что наблюдал Хаббард.

Другими факторами могут быть мотивация и опыт оценки. Хаббард обычно обучает опытных менеджеров и аналитиков, большинство из которых знают, что им придется применять новые навыки для реальных оценок. Дейл Ренигк из Университета Северной Каролины в Чапел-Хилле провел подобный тренинг для своих студентов и отметил гораздо более низкий показатель калибровки (хоть и все равно со значительным улучшением). В отличие от менеджеров, студентам редко приходится оценивать что-либо, и возможно, это стало одним из факторов, повлиявших на результаты. Как было замечено на семинарах, проводимых самим Хаббардом, те, кто не ожидает, что полученные навыки понадобятся в будущем для оценки проблем в реальном мире, почти всегда демонстрируют незначительные или нулевые улучшения.

Есть еще один чрезвычайно важный эффект калибровки. Помимо улучшения способности субъективно оценивать шансы калибровка, похоже, избавляет от возражений против вероятностного анализа при принятии решений. До обучения калибровке людям может казаться, что любая субъективная оценка бесполезна, а единственный способ узнать ДИ – провести вычисления, которые они смутно припоминают из университетского курса статистики. Они могут не доверять вероятностному анализу в целом, поскольку все вероятности кажутся им произвольными. Однако после калибровки редко кто мыслит подобными категориями. Судя по всему, проблема решается за счет получаемого практического опыта указания вероятностей, благодаря чему постепенно приходит понимание, что это – измеримый навык, в котором можно добиться реальных улучшений. И хотя это не было целью Хаббарда в начале работы по калибровке специалистов, в итоге стало ясно, насколько данный процесс важен для формирования положительного отношения к концепции вероятностного анализа при принятии решений.

Теперь вам известно, как можно количественно оценить текущую неопределенность, научившись предоставлять калиброванные вероятности. Этот навык имеет решающее значение для следующего шага в измерениях.

Примечания

1. P. Laplace, Théorie analytique des probabilités (Paris: Courcier, 1812), переведена на английский Ф. У. Траскоттом и Ф. Л. Эмори под названием A Philosophical Essay on Probabilities (Mineola, NY: Dover, 1952), 16–17.

2. D. Kahneman and A. Tversky, “Subjective Probability: A Judgment of Representativeness,” Cognitive Psychology 4 (1972): 430–454; и D. Kahneman and A. Tversky, “On the Psychology of Prediction,” Psychological Review 80 (1973): 237–251.

3. Фишхофф Б., Филлипс Л. Д., Лихтенштейн С. Калибровка вероятностей: положение дел к 1980 г. // Принятие решений в неопределенности. Правила и предубеждения / Под ред. Д. Канемана, С. Пауля, А. Тверски. – Харьков: Гуманитарный центр, 2021. – 540 с.

4. Там же.

5. Там же.

6. L. J. Savage, The Foundations of Statistics (New York: John Wiley & Sons, 1954), 2.

7. Идье В., Драйард Д., Джеймс Ф. и др. Статистические методы в экспериментальной физике. – М.: Атомиздат 1976. – 335 с.; Byron P. Roe, Probability and Statistics in Experimental Physics, 2nd ed. (New York: Springer Verlag, 2001), 128.

8. C. C. Brown, “The Validity of Approximation Methods for the Interval Estimation of the Odds Ratio,” American Journal of Epidemiology 113 (1981): 474–480.

9. Steve C. Wang and Charles R. Marshal, “Improved Confidence Intervals for Estimating the Position of a Mass Extinction Boundary,” Paleobiology 30 (January 2004): 5–18.

Ответы на вопросы на общую эрудицию для упражнения по калибровке

Доверительные интервалы: 1. 203. 2. 1687. 3. 8,9. 4. 1969. 5. 1564. 6. 3,944. 7. 78,5 %. 8. 88. 9. 560. 10. 1964.

Верно/Неверно: 1. Неверно. 2. Верно. 3. Верно. 4. Неверно. 5. Верно. 6. Верно. 7. Неверно. 8. Верно. 9. Неверно. 10. Верно.

Глава 8. Уменьшение неопределенности с помощью байесовских методов