Как оценить риски в кибербезопасности. Лучшие инструменты и практики - Ричард Сирсен

худших недостатков и каковы результаты его применения.

Нам часто встречаются менеджеры и руководители, которым трудно поверить, что количественные модели могут быть эффективнее профессионального чутья или качественных методов. Таким был и сотрудник отдела операционных рисков, который бросил вызов количественным методам, спросив: «Разве можно смоделировать все факторы?» Естественно, модели никогда не моделируют «все» факторы и даже не пытаются это делать. Сотрудник находился в заблуждении Exsupero Ursus. Верил ли он, что, опираясь на собственное суждение или применяя более мягкий метод балльной оценки, учитывает буквально все факторы? Конечно, нет. Он просто сравнивал количественный метод с неким идеалом, который, очевидно, охватывает все возможные факторы, вместо сравнения с реальными альтернативами: собственным суждением или другими предпочтительными методами.

Помните: упомянутые в данной книге количественные методы продвигаются нами потому, что мы можем сослаться на конкретные исследования, доказывающие, что они превосходят (в смысле измеримо превосходят) конкретные альтернативы вроде профессионального чутья. Согласно популярной цитате великого статистика Джорджа Бокса: «Все модели ошибочны, но некоторые полезны». И исследования ясно показывают, что одни модели измеримо полезнее других, они эффективнее прогнозируют наблюдаемые результаты и с большей вероятностью приведут к желаемому исходу. Если указывать на недостатки какой-либо модели, то такие же требования следует применять и к предлагаемому альтернативному варианту. В первой модели может быть ошибка, но если у альтернативы еще больше ошибок, стоит все же придерживаться первой.

Приведенное фундаментальное заблуждение, похоже, лежит в основе ряда аргументов против использования количественных вероятностных методов. Достаточно перечислить лишь некоторые из них, и станет понятно, что каждое возражение можно парировать одним и тем же ответом.

Мнения о целесообразности применения количественных методов: суровая правда

Некоторые эксперты по кибербезопасности, принимавшие участие в опросе (18 %), заявили, что согласны с утверждением «следует использовать порядковые шкалы потому, что вероятностные методы невозможно применить в сфере кибербезопасности». Оно опровергается тем фактом, что все обсуждаемые здесь методы уже много раз применялись в реальных организациях. Придерживаться мнения, что эти методы непрактичны, – все равно что говорить пилоту авиакомпании, будто коммерческие полеты нецелесообразны. Так откуда же на самом деле берется это неприятие?

Наш опрос выявил одну из возможных причин такой позиции: принятие количественных методов сильно зависит от уровня статистической грамотности. Один из наборов вопросов был нацелен на проверку базовых знаний в области статистики и вероятностных концепций. Оказалось, что те, кто считал количественные методы непрактичными или видел другие препятствия для их использования, гораздо чаще демонстрировали низкий уровень статистической грамотности.

Раздел, посвященный статистической грамотности, содержал 10 вопросов, касавшихся основ статистики. Многие из них сформулированы на основе вопросов, использовавшихся в других исследованиях уровня статистической грамотности, которые проводил Канеман с соавторами. Некоторые вопросы касались распространенных ложных представлений о корреляции, размере выборки, выводах на основе ограниченных данных, значении термина «статистически значимый» и базовом понятии вероятности (см. пример в табл. 5.4).

Для дальнейшего ознакомления полный отчет об исследовании можно скачать с сайта www.howtomeasureanything.com/cybersecurity.

Затем мы сравнили статистическую грамотность с отношением, выявленным с помощью семи вопросов с «антиколичественным» уклоном из раздела «Отношение к количественным методам». Выявленная в итоге взаимосвязь между статистической грамотностью и положительным отношением к использованию количественных методов представлена на рис. 5.3.

Таблица 5.4. Пример вопроса для определения уровня статистической грамотности

Обратите внимание, что показатель «равно медианному или ниже» в плане отношения к количественным методам не обязательно означает, что участники опроса были в целом против количественных методов. Большинство весьма благосклонно восприняли количественные методы, и поэтому среднее число положительных ответов все еще можно относить к поддержке методов, а не их отрицанию, просто у людей из категории «равно медианному или ниже» было больше сомнений по поводу количественных методов, чем у тех, кто ответил положительно на более чем половину вопросов про отношение к ним. Для статистической грамотности, однако, медианный балл (3 из 10) показывал, насколько хорошо человек ответил, если бы просто угадывал ответы (учитывая число вариантов ответов на вопрос, при случайном выборе любого ответа, кроме «Я не знаю», в среднем получится 2,3 правильного ответа из 10). Те, кто дал меньше правильных ответов, не только хуже угадывали, но и верили в распространенные заблуждения. А те, у кого результаты по статистической грамотности были выше медианных, справились лучше, чем могли бы при простом угадывании.

Рис. 5.3. Сравнение уровня статистической грамотности и отношения к количественным методам

Теперь, когда мы прояснили этот момент, видно, что у участников, набравших выше медианного значения по статистической грамотности, в большинстве случаев и в ответах на вопросы об отношении к количественным методам значения были больше медианных. Аналогичным образом участники, у которых количество положительных ответов на вопросы про отношение к количественным методам превысило медианное значение, с большей вероятностью обладали и хорошим уровнем статистической грамотности. Выводы справедливы даже с учетом малого количества вопросов в опроснике. Зная количество вопросов и число вариантов ответа на вопрос, можно провести статистическую проверку. Проведенные нами вычисления показывают, что взаимосвязь между статистической грамотностью и отношением к статистике является статистически значимой даже при небольшом количестве вопросов на одного респондента (для хорошо разбирающихся в статистике читателей отметим, что P-значение этих результатов менее 0,01). Благодаря опросу также удалось сделать еще рад интересных наблюдений.

Прочие наблюдения, связанные со статистической грамотностью и принятием количественных методов

• Четверть испытуемых, хуже других настроенных в отношении количественных методов (нижние 25 %), в два раза чаще просто пропускали вопросы на статистическую грамотность, чем те, кто попал в четверть наиболее поддерживающих количественные методы.

• Больший опыт в сфере кибербезопасности соотносится с позитивным отношением к количественным методам. Также выяснилось, что те, кто хотя бы пытался применять количественные методы вроде симуляций по методу Монте-Карло, более склонны к их поддержке. Согласно полученным данным, 23 % из тех, кто положительно относился к количественным методам, пробовали симуляции Монте-Карло, в то время как из противников количественных методов ими пользовались только 4 % испытуемых. Не станем утверждать, что положительное отношение к количественным методам вызвало желание попробовать метод Монте-Карло или что его применение сделало их