Как оценить риски в кибербезопасности. Лучшие инструменты и практики - Ричард Сирсен

Мы уже выяснили, что эксперты менее эффективны, чем статистические модели, основанные на объективных данных за прошедший период. А что насчет количественных моделей, которые все еще основаны на субъективных оценках? Могут ли эксперты, применяя только имеющиеся знания, строить модели, которые превзошли бы их оценки, сделанные без использования количественных моделей? Результаты исследований показывают, что могут.

С 1970-х по 1990-е годы исследователи, изучавшие теорию принятия решений, Дональд Дж. Мак-Грегор и Дж. Скотт Армстронг, как по отдельности, так и совместно проводили эксперименты, чтобы выяснить, насколько можно повысить эффективность оценки с помощью разложения на составляющие30. Они задействовали сотни испытуемых в различных экспериментах с целью определить, насколько сложно оценить такие вещи, как окружность монеты или количество мужских брюк, производимое в США за год. Одних испытуемых просили напрямую оценить эти величины, а второй группе нужно было оценить разложенные на составляющие переменные, которые затем использовались для оценки исходного количества. Например, отвечая на вопрос о брюках, вторая группа оценила бы численность мужчин в США, количество брюк, покупаемых одним мужчиной в год, процент брюк, произведенных за границей, и т. д. Затем результаты первой группы (оценку, произведенную без разложения) сравнили с результатами второй группы.

Армстронг и Мак-Грегор выяснили, что разложение не помогало, если в оценках первой группы и так было относительно мало ошибок, например при оценке окружности американской 50-центовой монеты в миллиметрах. Однако если первая группа допускала много ошибок, а так происходило в случае с оценкой количества мужских брюк, произведенных в США, или общим количеством автомобильных аварий в год, тогда разложение на составляющие оказывалось значительно полезнее. Было установлено, что с самыми неопределенными переменными простое разложение на составляющие – ни в одном случае число переменных при разложении не превышало пяти – сокращало количество ошибок в 10 или даже 100 раз. Представьте, если бы эти решения принимались в реальных условиях с высоким уровнем неопределенности. Безусловно, разложение на составляющие стоит потраченного на него времени.

Выполнение вычислений в явном виде, даже если в качестве исходных данных используются субъективные оценки, устраняет источник ошибок. Чтобы оценить финансовые потери в результате атаки типа «отказ в обслуживании» на конкретную систему, можно оценить продолжительность атаки, количество пострадавших людей и затраты на единицу времени для каждого пострадавшего. Однако, получив эти значения, нужно не просто оценить их произведение, а вычислить его. Поскольку, как уже говорилось, при таких подсчетах люди склонны совершать несколько ошибок, связанных с интуицией, то будет лучше проводить расчеты не в уме. Для многих исследователей это было очевидно, как писал Мил в одной из своих работ:

Безусловно, ни для кого не секрет, что человеческий мозг плохо умеет взвешивать и вычислять. Делая покупки в супермаркете, вы не оцениваете взглядом кучу покупок и не говорите продавцу: «Похоже, здесь где-то на 17 долларов, как думаете?» Продавец считает их стоимость31.

Но не все разложения на составляющие одинаково информативны. Можно чересчур увлечься раскладыванием проблемы на элементы32. Разложение на составляющие производится потому, что в одних вещах мы более уверены, чем в других, но можем вычислить вторые на основе первых. Если же переменные, на которые раскладывается задача, не являются более определенными, то можно не добиться успеха. На самом деле неудачное разложение способно ухудшить ситуацию. В главе 6 мы более подробно обсудим так называемое неинформативное разложение.

Даже если предположить, что разложение на составляющие оказывается вам полезно, существует несколько стратегий его выполнения, и мы не будем придерживаться какой-то определенной точки зрения относительно степени их информативности. Разные организации могут предпочитать разные методы разложения, поскольку информация, которой они располагают, также различна. Но, как станет ясно из главы 6, существуют жесткие математические правила относительно того, действительно ли разложение на составляющие уменьшает неопределенность. Следует применять эти правила наряду с эмпирически измеренной эффективностью для определения наилучшего метода разложения на составляющие для конкретной организации.

Резюме и дальнейшие шаги

«По моему опыту…» – если предложение начинается с этих слов, к нему стоит относиться с осторожностью, особенно когда речь идет об оценке самих экспертов. Существуют причины, почему наш опыт, даже накопленный за многие десятилетия, не может служить надежным источником информации в некоторых вопросах. Из-за аналитического плацебо невозможно определить качество своих оценок, опираясь лишь на собственные субъективные ощущения. Для оценки экспертов и применяемых ими методов следует обратиться к научным исследованиям, лежащим в ее основе. И эти исследования четко указывают на следующие выводы.

1. По возможности рекомендуется использовать понятные количественные модели, основанные на объективных ранее полученных данных. Роль экспертов в первую очередь будет заключаться в разработке и настройке этих моделей, а не в выполнении отдельных оценок.

2. Для оценки вероятностей и других количественных величин можно научить экспертов определять субъективные вероятности, которые будут сравниваться с наблюдаемой реальностью.

3. Несогласованность оценок экспертов можно снизить с помощью математических методов, а также путем сотрудничества с целью повышения точности оценок. При рассмотрении мнений нескольких экспертов, даже просто выведя среднее значение из их оценок, получится более точный результат, чем дадут мнения экспертов, взятые по отдельности.

4. Разложение на составляющие повышает точность оценки, особенно когда приходится иметь дело с очень высокой степенью неопределенности. Модели, требующие проведения конкретных вычислений, а не подсчетов в уме, позволяют избежать многих ошибок в выводах, как правило, свойственных экспертам.

В данной главе наши измерения различных методов оценки риска были сосредоточены на ранее опубликованных результатах научных исследований отдельных компонентов процесса оценки риска, включая альтернативные инструменты оценки вероятностей (с помощью экспертов или алгоритмов), способы контроля несогласованности оценки экспертов, их сотрудничество и разложение на составляющие. Внимание уделялось только тем компонентам, о которых у нас есть данные исследований, показывающие, что альтернативные методы способны измеримо улучшить результаты.

Все компоненты методов, представленных в главе 3, и всё, о чем пойдет речь далее, опираются на результаты исследований. Нами не будут разбираться компоненты методов, по которым не проводились исследования, и, что не менее важно, не будут применяться методы, которые,