Как оценить риски в кибербезопасности. Лучшие инструменты и практики - Ричард Сирсен

Кроме того, они определили «фактор лжи» для нескольких типов матриц риска. Фактор лжи – величина, определенная Эдвардом Тафти и Питером Грейвсом-Моррисом в 1983 году на основании того, насколько сильно в диаграммах намеренно или непроизвольно искажаются данные из-за вводящих в заблуждение особенностей их отображения12. По сути, это разновидность сжатия диапазона, подробно рассмотренному Коксом. С помощью специального метода вычисления фактора лжи Томас с соавторами обнаружили, что соотношение искажений данных, усредненных по различным видам матриц рисков, превышало 100. Чтобы понять, что означает фактор лжи, равный 100, нужно иметь в виду, что при объяснении действия метода Эдвард Тафти приводил пример, который называл «чудовищной ложью», и его фактор лжи составлял 14,8.

По мнению Томаса и его соавторов, в любой матрице рисков заложены «грубые несогласованность и произвол». Их вывод согласуется с выводами всех других исследователей, всерьез занимавшихся изучением матриц рисков:

Как можно утверждать, что метод, который неравномерно и неконтролируемо искажает информацию, лежащую в основе инженерных решений в отрасли, относится к лучшим практикам? Бремя доказательства лежит полностью на тех, кто рекомендует использовать такие методы: пусть попробуют доказать, что очевидные несоответствия не только не мешают процессу принятия решений, но и повышают его эффективность, как часто утверждается.

Выводы были озвучены на вебинаре в рамках курса лекций по принятию стратегических решений и управлению рисками в Стэнфорде. Чтобы донести до слушателей полученные результаты, они поместили на один из слайдов презентации большой прямоугольник с надписью «Теория тепловых карт и эмпирическое тестирование» (рис. 5.2). К серьезной теме авторы исследования подошли с юмором – прямоугольник был пуст.

Рис. 5.2. Теория тепловых карт и эмпирическое тестирование Источник: P. Thomas, R. Bratvold, and J. E. Bickel, “The Risk of Using Risk Matrices,” Society of Petroleum Engineers Economics & Management 6, no. 2 (April 2014): 56–66

Если вам кажется, что выводы должны касаться только нефтегазовой отрасли (целевая аудитория журнала, в котором опубликовано исследование), рассмотрим пример НАСА, упомянутый в главе 4. В этом исследовании проводилось сравнение метода Монте-Карло и статистических методов, основанных на регрессии, с более мягкими методами. Более мягким методом, о котором шла речь, была созданная НАСА версия матрицы рисков 5 × 5. У ученых и инженеров миссии, хорошо знавших свою сферу деятельности, надо полагать, было преимущество перед бухгалтерами, и тем не менее бухгалтеры с использованием симуляций по методу Монте-Карло и данных за прошлые периоды составили более точные прогнозы, чем ученые и инженеры с помощью матрицы рисков.

Наконец, подобные шкалы никак не учитывают ограничения экспертных суждений, как описано в главе 4. Ошибки экспертов только усугубляются из-за дополнительных погрешностей, привносимых шкалами и матрицами. Мы согласны с решением, предложенным Томасом и соавторами. В сфере кибербезопасности (или других областях анализа рисков, где также используются матрицы рисков) не надо пытаться заново изобретать количественные методы, хорошо зарекомендовавшие себя и применяемые для решения многих не менее сложных проблем. Томас и соавторы рекомендуют подходящие инструменты анализа решений, использующие вероятности в явном виде для выражения неопределенности. Они сравнивают матрицы рисков с анализом решений следующим образом:

Процедуры и инструменты, используемые при анализе решений, последовательны, лишены недостатков, присущих матрицам риска, и обеспечивают ясность и прозрачность ситуации принятия решений. Лучшее, что мы можем сделать для принятия качественных решений по управлению рисками, – применение развитого и последовательного набора процедур и инструментов, предусмотренного наукой о принятии решений.

Чтобы лучше понять различия, просто сравните матрицу рисков с кривой вероятности превышения потерь, представленной в главе 3. Напомним, что кривая вероятности превышения потерь охватывает все виды неопределенности в отношении воздействия, независимо от того, насколько широким может быть диапазон, а кривая рискоустойчивости дает ясное представление о том, какой риск приемлем для руководства организации. Итак, как в матрице рисков допустить большую неопределенность в отношении воздействия, если воздействие не укладывается в одну категорию? Как в матрице рисков однозначно отразить рискоустойчивость руководства, позволяя точно оценить варианты?

Как и авторы данной книги, Томас, Брэтвольд и Бикель приходят к выводу, который уже должен стать очевидным для всех, кто прочитал результаты исследований:

С учетом обозначенных проблем кажется вполне закономерным, что не следует использовать матрицы рисков для принятия решений, имеющих какие-либо последствия.

Надеемся, на этом вопрос исчерпан.

Exsupero Ursus и другие заблуждения

Знаете, есть такой старый анекдот о двух туристах, собирающихся в поход в лес (если вы его уже много раз слышали, заранее благодарим за терпение, но рассказываем мы его не просто так).

Один турист надел кроссовки вместо обычных туристических ботинок. Другой его спрашивает:

– У тебя ботинки порвались?

А первый в ответ:

– Нет, просто слышал, что сегодня в лесу были медведи, вот и надел кроссовки, чтобы бежать быстрее.

Приятель, смутившись, напоминает ему:

– Но ты же знаешь, что не сможешь обогнать медведя?

А турист в кроссовках отвечает:

– Мне не нужно обгонять медведя. Мне надо лишь обогнать тебя.

Этот старый (и всем надоевший) анекдот дал название особому заблуждению, возникающему при оценке любых моделей или методов принятия решений. Мы называем это заблуждение Exsupero Ursus или, если вам не нравится заумный псевдонаучный термин на латинском, который придуман нами с помощью Google Translate, можно называть его заблуждением «обогнать медведя». Суть заблуждения примерно следующая: если существует хоть один пример, что конкретный метод не сработал или имеет даже незначительные недостатки, то следует сразу переходить к другому методу, не выясняя, нет ли у альтернативного метода