Как оценить риски в кибербезопасности. Лучшие инструменты и практики - Ричард Сирсен

Несмотря на то что все приведенные исследования не связаны с кибербезопасностью, объем результатов в столь многих областях свидетельствует о том, что они фундаментальные и применимы к любой сфере человеческих суждений, включая кибербезопасность. Однако, если данное разнообразие выводов не убедило вас в том, что те же проблемы относятся и к кибербезопасности, рассмотрим еще один аргумент, выдвинутый Канеманом и Гэри Клейном, другим исследователем в области психологии принятия решений.

Канеман и Клейн выделяют три условия, необходимых для того, чтобы опыт привел к обучению. Во-первых, должна быть последовательная обратная связь. Человек должен получать информацию о прошлой деятельности регулярно, а не эпизодически. Во-вторых, обратная связь должна быть сравнительно быстрой. Если человек делает несколько прогнозов событий, которые могут произойти через несколько лет (что не редкость при анализе экономического эффекта новых инвестиций, скажем, в технологии, инфраструктуру или новые продукты), то задержка в получении обратной связи усложнит обучение. В-третьих, обратная связь должна быть однозначной. Если человек просто говорит, что проект в области кибербезопасности будет «успешным» или что риск будет снижен, то здесь возможны интерпретации. А когда прошлые результаты можно интерпретировать по-разному, данные, как правило, интерпретируются так, как выгоднее. В отсутствие регулярной, быстрой и однозначной обратной связи, скорее всего, мы будем запоминать информацию избирательно и интерпретировать свой опыт так, чтобы выглядеть в лучшем свете.

Поэтому аналитики рисков кибербезопасности должны задать себе ряд неудобных вопросов: «Действительно ли опыт эксперта в сфере кибербезопасности соответствует этим условиям? Действительно ли эксперты по кибербезопасности записывают все свои оценки вероятности и воздействия, а затем сравнивают их с результатами наблюдений? Даже если предположить, что они это делают, как долго им обычно приходится ждать, чтобы узнать, была ли их оценка правильной? Даже если оценки записываются и мы ждем достаточно долго, чтобы событие произошло, становится ли ясно, что первоначальная оценка была правильной или что описанное событие произошло? Например, если мы говорим, что наша репутация пострадала в результате взлома, откуда мы это знаем и как на самом деле подтвердить – хотя бы приблизительно – значимость события, определенную в первоначальных расчетах?» В кибербезопасности, как и во многих других областях, обучение невозможно без процессов, направленных на его обеспечение. Эти выводы очевидны для таких исследователей, как Мил:

Человеческий мозг является довольно неэффективным устройством для выявления, отбора, категоризации, записи, сохранения, извлечения информации и манипулирования ею с целью формулирования выводов. Почему мы должны удивляться этому?19

Все это не означает, что эксперты мало разбираются в своей области. Они обладают большим объемом подробных технических знаний. Эффективность работы экспертов в упомянутых исследованиях касалась только оценки величин на основе субъективных выводов по прошлому опыту. То есть проблема состоит в том, что эксперты, похоже, часто путают знания об огромном множестве деталей с умением прогнозировать неопределенные будущие события. Специалист по кибербезопасности может хорошо разбираться в технических аспектах, таких как проведение тестов на проникновение, использование средств шифрования, настройка файрволов, и многих других и при этом быть неспособным реально оценить собственные навыки прогнозирования будущих событий.

Инструменты для повышения эффективности человеческого компонента

Исходя из рассмотренных выше исследований, может создаться впечатление, что эксперты почти ничего не способны сделать для оценки рисков. Однако мы совсем не это имели в виду. Когда есть возможность создать грамотные математические модели, основанные на объективных наблюдениях и ранее полученных данных, так и нужно сделать. И все же нельзя отрицать, что с некоторыми задачами по-прежнему лучше справится эксперт. Эксперт является компонентом анализа рисков, который невозможно отбросить, но можно улучшить.

Прежде всего эксперты должны помогать определить проблему, в том числе оценивать ситуации, когда данные неоднозначны или условия не соответствуют имеющимся статистическим данным. Эксперты также должны предлагать решения для проверки.

Наша цель – повысить статус эксперта. Нам бы хотелось, чтобы к экспертам в области кибербезопасности относились как к части системы оценки рисков. За ними необходимо наблюдать, как за гоночным автомобилем или спортсменом, и корректировать их работу для достижения максимальной результативности. Эксперт – это такой своеобразный тип измерительного прибора, который можно «откалибровать» для повышения эффективности.

Стоит также отметить, что все проблемы, которые будут перечислены ниже, присущи не только кибербезопасности. Однако профессия эксперта обладает характеристиками, которые относят ее к сферам деятельности, где люди склонны выносить «некалиброванные» суждения. Кибербезопасность может брать пример с других технологичных инженерных областей, зависящих от экспертной оценки, которые применяют конкретные методы для отслеживания и калибровки суждений экспертов. В Комиссии по ядерному регулированию США (КЯР), например, признают значимость роли эксперта на нескольких этапах процесса оценки риска. Отчет КЯР об использовании и получении экспертных оценок гласит следующее:

Экспертные суждения действительны как сами по себе, так и в сравнении с другими данными. Все данные – это несовершенное отображение реальности. Достоверность данных экспертных оценок, как и любых других данных, может варьироваться в зависимости от процедур, применяемых для их сбора. Так называемые точные данные, например полученные с помощью приборов, не могут считаться совершенными из-за наличия таких факторов, как случайный шум, неисправность оборудования, вмешательство оператора, отбор данных или их интерпретация. Достоверность всех данных различна. Достоверность экспертного суждения в значительной степени зависит от качества когнитивного представления эксперта о сфере деятельности и способности выразить свои знания. Получение экспертных оценок является формой сбора данных, которую можно тщательно проверить. Использование суждений также можно и нужно тщательно проверять20.

Мы согласны. Следует пристально проверять эксперта, как и любой другой инструмент измерений. По нашему мнению, специалист в области кибербезопасности – важнейший и в конечном счете незаменимый компонент любого анализа рисков. Даже с учетом появления новых источников данных, позволяющих проводить еще более эффективный количественный анализ рисков, кибербезопасность в обозримом будущем будет по-прежнему зависеть от специалистов в этой области. Именно из-за ключевой роли, отведенной квалифицированным экспертам, необходимо обратить особое внимание на качество выполнения ими различных критически важных задач. И точно так же, как точность измерений прибора не определяется с помощью него