Как оценить риски в кибербезопасности. Лучшие инструменты и практики - Ричард Сирсен
Шрифт:
Интервал:
Закладка:
Две крайности субъективной уверенности
Чрезмерная уверенность проявляется, когда человек регулярно преувеличивает свои знания и оказывается правым реже, чем сам считает. Например, кого-то просят сделать оценку с 90 %-ным ДИ, и гораздо меньше 90 % ответов попадают в предполагаемые диапазоны.
Недостаточная уверенность проявляется, когда человек регулярно занижает свои знания и оказывается прав гораздо чаще, чем ожидает. Например, кого-то просят сделать оценку с 90 %-ным ДИ, и более 90 % ответов попадают в предполагаемые диапазоны.
К счастью, работы других исследователей показывают, что можно добиться более точных оценок, если научиться справляться с собственной необъективностью в оценке3. Выявлено, что составители прогнозов и букмекеры в целом точнее оценивали шансы наступления событий, чем, скажем, руководители. Кроме того, сделано несколько тревожных открытий о том, насколько неточны врачи в прогнозировании неизвестных вещей, например вероятности того, что опухоль окажется злокачественной или что боль в груди – сердечный приступ. Было выдвинуто предположение, что раз существует такая разница между различными профессиями, значит, оценивать шансы наступления неопределенных событий можно научиться.
Исследователи определили способ, как экспертам выяснить, проявляют ли они систематически недостаточную уверенность, чрезмерную уверенность или другие предубеждения в своих оценках. Проведя такую самооценку, они смогут освоить несколько техник улучшения оценок и измерения этих улучшений. Иными словами, исследователи выяснили, что оценка неопределенности является общим навыком, которому можно научиться и который можно измеримо совершенствовать. То есть, когда калиброванные эксперты в области кибербезопасности заявляют о своей уверенности на 95 % в том, что система не будет взломана, то действительно существует вероятность 95 %, что система не будет взломана.
Как упоминалось выше, существуют разные точки зрения на понятие вероятности, среди сторонников каждой из них немало известных имен в математике, статистике и естественных науках. Мы не будем вдаваться в подробности данной полемики, но если заинтересуетесь, смотрите книгу «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе», особенно третье издание. Доводы, приводимые в ней Хаббардом, просто повторяют аргументы, которые уже озвучивали великие ученые и математики, такие как Л. Дж. Сэвидж, Э. Т. Джейнс и Г. Джеффрис. Суть их сводится к тому, что субъективистский взгляд на вероятность – фактически единственно применимый для принятия решений на практике. Для удобства основное содержание споров изложено в разделе «Исключительно философская интерлюдия» данной главы.
Упражнение в калибровке
С помощью небольшого опросника давайте проверим, насколько хорошо вы умеете количественно оценивать неопределенность. В табл. 7.2 приведены десять вопросов с 90 %-ным ДИ и десять бинарных вопросов (т. е. с ответами «верно/неверно»). Если вы не побеждали в викторине «Своя игра», то вряд ли сможете уверенно ответить на все вопросы из области общих знаний (хотя некоторые из них очень просты). Тем не менее о них всех у вас, скорее всего, имеется какое-то приблизительное представление. Похожее упражнение Хаббард выполняет со слушателями на мастер-классах и семинарах. Разница лишь в том, что тесты, проводимые им, содержат больше вопросов каждого типа, а после теста разбираются некоторые из работ и даются соответствующие пояснения. Подобное обучение калибровке обычно занимает полдня.
Но даже при такой небольшой выборке можно выявить значимые аспекты ваших навыков. Что еще важнее, упражнение поможет осознать, что ваше нынешнее состояние неопределенности само по себе поддается количественной оценке.
В табл. 7.2 представлено по 10 вопросов каждого из двух типов.
1. С 90 %-ным доверительным интервалом. Для каждого вопроса укажите верхний и нижний пределы. Помните, что диапазон должен быть достаточно широким, чтобы вы считали вероятность того, что ответ будет в него попадать, равной 90 %.
2. Бинарные. Ответьте, является ли каждое из утверждений верным или неверным, затем обведите вероятность, отражающую степень вашей уверенности в ответе. Если вы абсолютно уверены в своем ответе, следует указать, что ваши шансы на верный ответ составляют 100 %. Если вы понятия не имеете, верно ли утверждение, то шанс должен быть как при подбрасывании монетки (50 %). В остальных случаях выбирайте одно из значений между 50 и 100 %.
Конечно, можно просто найти ответы на все вопросы, но стоит помнить, что упражнение прежде всего направлено на понимание того, насколько хорошо вы умеете оценивать проблемы, ответы на которые нельзя нигде подсмотреть (например, как долго продлится отключение системы в следующем году, или произойдет ли утечка данных в одной из систем предприятия).
Таблица 7.2. Пример калибровочного тестаВажная подсказка: вопросы различаются по сложности. Некоторые покажутся простыми, а другие – слишком сложными. Но независимо от того, насколько сложным кажется вопрос, вы все равно что-нибудь да знаете по этой теме. Сосредоточьтесь на том, что знаете. В вопросах с диапазоном это могут быть определенные границы, за пределами которых ответ покажется абсурдным (например, вам, вероятно, известно, что Ньютон не жил ни в Древней Греции, ни в ХХ веке). Аналогично и с бинарными вопросами: даже если не уверены, у вас по крайней мере есть предположение, какой ответ более вероятен.
После завершения теста, но перед тем, как посмотреть ответы, попробуйте провести небольшой эксперимент, чтобы проверить, действительно ли указанные диапазоны отражают ваш 90 %-ный ДИ. Возьмем один из вопросов с ДИ, скажем, про публикацию Ньютоном закона всемирного тяготения. Предположим, вам предложили шанс выиграть 1000 долл. одним из двух способов.
