Как оценить риски в кибербезопасности. Лучшие инструменты и практики - Ричард Сирсен

Верно подмечено. Вот почему я спрашиваю не только вас. Плюс, закончив со всеми условиями, мы посмотрим, как вычисляется скорректированная вероятность, и тогда вам, может быть, захочется пересмотреть некоторые оценки. Теперь перейдем к следующему условию. Что, если актив, о котором идет речь, находится в собственном центре обработки данных компании…

И так далее.

Несколько пояснений по поводу использования ЛОШ. Это очень эффективная оценка вероятности с учетом всех условий, если условия не зависят друг от друга, то есть они не коррелируют и не имеют сложных схем взаимодействия друг другом. Зачастую все наоборот. Например, какие-то условия могут оказывать гораздо большее или гораздо меньшее влияние в зависимости от состояния других условий. Самое простое практическое решение в случае, если вы считаете, что условия A и B сильно коррелируют, – отбросить одно из них. Или же можно уменьшить ожидаемые эффекты каждого условия (т. е. задать условную вероятность ближе к базовой вероятности). Следите, чтобы совокупный эффект нескольких условий не давал более экстремальные результаты в сравнении с ожидаемыми (слишком высокие или слишком низкие вероятности).

Метод линзы: модель эксперта, которая лучше самого эксперта

Следующий очень удобный способ заполнения большой вероятностной таблицы узлов заключается в оценке экспертами нескольких специально отобранных комбинаций условий. Этот подход подразумевает построение статистической модели, основанной исключительно на подражании суждениям экспертов, а не на использовании данных за прошлые периоды. Любопытно, что такая модель, похоже, лучше справляется с задачами прогнозирования и оценки, чем сами эксперты.

Здесь предполагается применение методов регрессии, в частности логистической регрессии. Детальное обсуждение методов регрессии, после которого с ними можно было бы работать, не входит в задачу данной книги, поэтому нами предлагается следующее: если вам не знакомы методы регрессии, то придерживайтесь метода ЛОШ, описанного выше. Если же вы разбираетесь в методах регрессии, полагаем, наш разбор метода линзы будет достаточно подробным, чтобы вы могли понять его, не требуя от нас углубляться в описание механизма работы.

С учетом этого пояснения вот вам небольшая предыстория. Этот метод берет свое начало в 1950-х годах, когда Эгон Брунсвик, исследователь в области психологии принятия решений, попробовал статистически измерить решения экспертов. В то время как большинство его коллег занимал незримый процесс принятия решений, через который проходили эксперты, Брунсвика интересовало описание самих принимаемых решений. О себе и других специалистах в этой области он говорил: «Нам стоит меньше походить на геологов и больше на картографов». Другими словами, следует просто отображать то, что можно наблюдать, а не изучать скрытые внутренние процессы.

Такой подход стал известен под названием «модель линзы». Модели, созданные Брунсвиком и его последователями, превосходили экспертов-людей в решении самых разных вопросов, таких как вероятность погашения банковских кредитов, движение цен на акции, медицинские прогнозы, успеваемость студентов магистратуры и многие другие. Хаббарду тоже доводилось применять данный метод, в частности для прогнозирования кассовых сборов новых фильмов, логистики в зоне боевых действий и, да, в сфере кибербезопасности. Каждый раз модель по меньшей мере не уступала оценкам экспертов, а почти во всех случаях еще и оказывалась значительно лучше.

В главе 4 уже упоминалось, что эксперты могут находиться под влиянием множества не относящихся к делу факторов, сохраняя при этом иллюзию обучения и компетентности. Линейная модель оценки эксперта, однако, дает совершенно последовательные результаты. Как и в методе ЛОШ, в модели линзы это достигается путем удаления из оценки ошибок, связанных с несогласованностью экспертов. В отличие от ЛОШ, здесь не требуется четко выяснять у экспертов правила оценки для каждой переменной. Вместо этого мы просто наблюдаем за суждениями экспертов, учитывая все переменные, и пытаемся вывести правила на основе статистики.

Предлагаемый процесс построения модели, состоящий из семи шагов, достаточно прост. Мы несколько изменили изначальную процедуру, чтобы учесть и другие методы, появившиеся с момента разработки Брунсвиком своего подхода (например, калибровку вероятностей). Напомним, что здесь предоставляется ровно столько информации, чтобы читатель, уже знакомый с различными методами регрессии, смог понять, как работает метод линзы.

1. Отберите экспертов и откалибруйте их.

2. Попросите экспертов определить список факторов, относящихся к конкретному объекту, который они будут оценивать (вроде тех, что указаны в приведенной нами ранее таблице узлов). Но список должен содержать не более 10 пунктов.

3. Создайте набор сценариев, используя комбинации значений для каждого из указанных факторов. Сценарии могут основываться на реальных примерах или быть чисто гипотетическими, для каждого опрашиваемого эксперта их потребуется от 30 до 50 штук. Каждый сценарий будет выборкой в вашей регрессионной модели.

4. Попросите экспертов дать соответствующую оценку каждому описанному сценарию.

5. Усредните оценки экспертов.

6. Проведите логистический регрессионный анализ, используя среднее значение экспертных оценок в качестве зависимой переменной, а вводные данные, предоставленные экспертам, – в качестве независимой переменной. В зависимости от используемых вводных переменных вам может потребоваться закодировать вводные данные или применить полиномиальные методы регрессии. Поскольку в данном случае вы оцениваете вероятность, можно применить методы логистической регрессии. Здесь сплошная специальная лексика, но если вы знакомы с методами регрессии, то поймете, о чем идет речь.

7. Наилучшим образом подходящая для логистической регрессии формула и станет моделью линзы.

По завершении описанной процедуры вы сможете построить график как на рис. 9.5. Он показывает оценку усредненного суждения экспертов в модели регрессии в сравнении со средним значением экспертных суждений для каждого из сценариев. Видно, что модель, конечно же, не полностью совпадает с суждениями экспертов, но близка к ним. На самом деле, если сравнивать эти данные с показателями несогласованности экспертов, то, как правило, выясняется, что большая часть отклонений модели от экспертных оценок связана с несогласованностью экспертов. Таким образом, модель линзы могла бы быть еще более эффективной, если бы эксперты были более согласованны в своих оценках. Эта несогласованность устраняется с помощью метода линзы.

Если вы решите применять метод линзы, то построенная выше модель действительно будет лучше единичного эксперта по нескольким параметрам. Она, по сути, является имитацией усредненных суждений ваших лучших калиброванных экспертов, если бы они были идеально согласованны.

Для оценки несогласованности можно применить метод «дублирующейся пары» из главы 4: