Как оценить риски в кибербезопасности. Лучшие инструменты и практики - Ричард Сирсен

насколько они при этом могут отличаться. В своем эксперименте он предлагал испытуемым читать фразы из доклада Межправительственной группы экспертов по изменению климата (МГЭИК), в каждой из которых фигурировала одна из семи категорий вероятности (например, «весьма вероятно, что экстремальные температуры, волны жары и сильные осадки будут повторяться все чаще»). Будеску обнаружил, что люди очень по-разному интерпретируют степень вероятности, подразумеваемую во фразе. Так, он выявил, что «весьма вероятно» может означать любую вероятность в диапазоне от 43 до 99 %, а «маловероятно» может означать как низкую вероятность (8 %), так и высокую (66 %), в зависимости от того, кого спрашивают3.

В исследовании Будеску участвовали 223 студента и преподавателя из Иллинойсского университета, а не профессионалы, занимающиеся интерпретацией такого рода исследований. Поэтому возникает закономерный вопрос, распространяются ли эти выводы на более подкованную аудиторию. К счастью, существует исследование, подкрепляющее результаты Будеску, но в области анализа разведданных, которая может показаться ближе аналитикам из сферы кибербезопасности. В книге Psychology of Intelligence Analysis, написанной на основе рассекреченных документов ЦРУ и выпущенной в 1999 году, бывший аналитик ЦРУ Ричардс Дж. Хойер – младший рассказывает об оценке схожих вероятностных утверждений 23 офицерами НАТО4. Аналогично результатам Будеску для выражения «весьма вероятно», Хойер обнаружил, что под фразой «очень вероятно» понимаются разные вероятности, начиная от 50 % и заканчивая почти 100 %. И точно так же согласуются с данными Будеску результаты Хойера для выражения «маловероятно», ответы для которого варьировались от 5 до 35 %. На рис. 5.1 показан диапазон ответов в исследовании Хойера.

В ходе проведения нами опроса 28 % специалистов по кибербезопасности сообщили, что пользуются вербальными или порядковыми шкалами, где вероятность, которую эти шкалы должны обозначать, даже не определена. Некоторые пользователи шкал пытаются уменьшить неоднозначность, предлагая конкретные определения для каждой фразы, например: «очень маловероятно» – вероятность менее 10 % (фактически, так и написано в стандарте NIST 800-30)5. В нашем опросе 63 % респондентов, использующих порядковые шкалы, указали, что они применяют вербальные или числовые порядковые шкалы, где вероятности определяются подобным образом. Однако Будеску обнаружил, что определения тоже не помогают.

Даже в ситуации, когда каждому уровню вербальной шкалы был присвоен свой диапазон вероятности (например, «весьма вероятно» означало «более 90 %», а «очень маловероятно» – «менее 10 %»), его не придерживались более чем в половине случаев. Другими словами, даже когда участникам четко объясняли значение терминов, они интерпретировали их в контексте утверждений, в которых термины были представлены. То есть фраза «весьма вероятно» имела для испытуемых разное значение, когда звучала применительно к экстремальным температурам, таянию ледников или повышению уровня моря.

Рис. 5.1. Варианты интерпретаций сотрудниками НАТО фраз, обозначающих степень вероятности

Источник: Хойер, Psychology of Intelligence Analysis, 1999

В табл. 5.2 показано, насколько широко испытуемые в исследовании Будеску интерпретировали вербальные шкалы, даже когда им были даны конкретные указания относительно значений. Оказалось, что около половины респондентов проигнорировали рекомендации (возможно, само понятие «рекомендации» предполагает слишком много толкований).

Отдельные крайние значения результатов требуют пояснений. При выборе варианта «очень маловероятно» наблюдается удивительный диапазон от 3 до 75 %. Значение 75 % было выбрано не единожды. Две трети респондентов не следовали рекомендациям, т. е. интерпретировали это выражение, как обозначающее более 10 %. Как такое может быть? Будеску обнаружил очень слабую взаимосвязь между интерпретацией степени вероятности испытуемыми и их взглядами на исследования климата, иначе говоря, они не наделяли события более высокой вероятностью только из-за большей озабоченности исследованиями климата. Однако, как отмечает Будеску, определенное влияние на ответы могла оказать двусмысленность некоторых утверждений. Если утверждение касалось вероятности экстремальных температур, то испытуемый мог добавить в оценку вероятности и неопределенность в понимании термина «экстремальная температура».

Таблица 5.2. Различия в понимании отдельных общепринятых терминов, используемых для выражения неопределенности в докладе МГЭИК

Источник: Дэвид В. Будеску, Стивен Брумелл и Хан-Хуэй Пор, Иллинойский университет в Урбане-Шампейне

Хаббард предлагает еще одно возможное объяснение. Он наблюдал на практике в процессе обсуждения рисков с клиентами, как событие оценивалось «крайне вероятным» отчасти из-за того, какое воздействие оно могло оказать. Конечно, воздействие и вероятность следует оценивать по отдельности, но менеджеры и аналитики делали заявления вроде: «Вероятность 10 %, что событие будет происходить ежегодно, слишком велика для такого крупного события, поэтому считаю, что 10 %-ный шанс его наступления крайне вероятен». Естественно, это всего лишь случай из практики, и мы не полагаемся на такого рода наблюдения, ведь данных Будеску и Хойера вполне достаточно, чтобы очертить проблему. Однако как потенциальное объяснение сам факт наличия таких заявлений указывает на возможность того, что некоторые люди весьма необдуманно пытаются объединить вероятность, воздействие и собственную неприязнь к риску. Им нужны методы, которые раскрывали бы смысл этих разных понятий.

Более того, чтобы адекватно определить вероятность события, необходимо учитывать период времени, в течение которого оно должно произойти. Если, например, указывается 10 %-ная вероятность события, значит ли это, что 10 % – вероятность его наступления в следующем году? Или в следующем десятилетии? Очевидно, что эти оценки сильно различаются. Как получается, что руководство или аналитики могут прийти к согласию по данным пунктам, даже не указав такую элементарную единицу измерения риска?

Все эти факторы в совокупности создают то, что Будеску называет «иллюзией коммуникации». Люди могут считать, что они успешно договорились о рисках, но при этом совершенно по-разному понимать сказанное. Им может казаться, что они пришли к соглашению, если все говорят, что один риск является «средним», а другой – «высоким». И даже когда вероятность обозначается с помощью конкретных чисел, слушатель или докладчик могут соотносить собственную рискоустойчивость с оценкой вероятности или полагать, что указана вероятность наступления события в течение более длительного периода времени, чем подразумевает собеседник.

До сих пор обсуждалась только психология интерпретации людьми неоднозначной терминологии в области риска, но это еще не все. Помимо использования неколичественных обозначений для вероятностей и влияния, оказываемого прочими неясностями, наблюдаются любопытные реакции на субъективные порядковые шкалы в целом. Относительно произвольные характеристики шкал оказывают гораздо большее влияние на суждения, чем можно было бы ожидать.

Например, профессор Крейг Фокс из Калифорнийского университета в Лос-Анджелесе провел исследование, показавшее,