Аналитика: методология, технология и организация информационно-аналитической работы - Юрий Курносов

Применение дискретных шкал основано на установлении соответствия между некоторым фиксированным множеством терминов-оценок и совокупностью численных показателей, подлежащих дальнейшей обработке. Такой подход позволяет сократить разброс характеристик к необходимому уровню разнообразия и стандартизировать тезаурус. Существует ряд ограничений на мощность множества терминов, связанных с тем, что чрезмерное разрастание этого множества ухудшает восприятие шкалы из-за усложнения процедуры различения смежных терминов экспертом. В ряде случаев это может привести к снижению темпов работы экспертов, возникновению стрессовых ситуаций в ходе опроса, вызванных сложностью идентификации термина с оценкой эксперта. Другой крайностью является излишняя терминологическая бедность шкалы, приводящая к снижению точности оценки. Разрешению этой проблемы отчасти может способствовать использование иерархических шкал.

Непрерывные шкалы получили особое распространение в системах анкетирования, реализованных на базе ЭВМ, однако используются и на традиционных носителях. Данная разновидность шкал отличается тем, что для оценивания используется пространственная интерпретация шкалы, в виде некоторого непрерывного интервала, заданного двумя терминами, используемыми для обозначения верхней и нижней границы диапазона (этот диапазон ставится в соответствие шкале оценок заданной инструментальной точности). Этим снимается проблема «терминологического» стресса, однако возникает проблема точности установления экспертом пространственной координаты, соответствующей его субъективной оценке. В случаях, когда перед экспертом стоит задача ранжирования оценок, такой вид шкал может оказаться менее удобен, поскольку отсутствие явной маркировки осложняет решение задачи сравнения.

Одноуровневые или плоские (flat) шкалы предполагают размещение всего множества терминов в рамках одного диапазона без введения элементов иерархического упорядочения. Этот вид шкал наиболее распространен, и по своей сути представляет собой разновидность одноуровневой классификации. Применение такого вида шкал является оправданным при малом количестве терминов, выражающих субъективную оценку эксперта, однако по мере роста мощности множества терминов, точность результатов начинает снижаться. Для непрерывных шкал одноуровневое представление является наиболее естественным.

Иерархические шкалы представляют собой интерпретацию иерархической классификации, в которой разделение на классы осуществляется на основе критерия принадлежности к некоторому диапазону. Использование иерархических шкал позволяет улучшить различимость терминов, упорядочить их и обеспечить их согласование с тезаурусом пользователя. Попадая в тот или иной диапазон, заданный термином (или парой терминов) более высокого уровня в иерархической классификации, эксперт получает возможность уточнить его на более низком (детальном) уровне. За счет использования такого подхода компенсируются недостатки дискретных одноуровневых шкал, снимается «терминологический» стресс и повышается инструментальная точность измерения. В сочетании с непрерывными шкалами, как правило, не применяются. Наиболее распространены при проведении опроса с помощью ЭВМ.

Шкалы измерений предназначены для протоколирования субъективных оценок экспертами некоторых величин и позволяют сформулировать мнение о значении или диапазоне значений некоторой величины в абсолютных терминах.

Шкалы отношений отличаются тем, что предназначены для протоколирования субъективных оценок экспертами отношений порядка, причинно-следственных отношений и иных. Данная разновидность шкал оперирует относительными терминами. Наиболее распространены они при решении задач с высокой неопределенностью.

Одномерные шкалы применяются в тех случаях, когда свойства объекта/процесса достаточно полно могут быть выражены в одномерном пространстве признаков. При этом одномерная шкала может быть как дискретной, так и непрерывной.

Многомерные шкалы применяются, если свойства объекта/процесса не могут быть адекватно выражены в одномерном пространстве признаков (такое, например, бывает в случае, когда одним термином описывается некое комплексное явление, характеризующееся большим разбросом несвязанных между собой параметров). Нередко используются так называемые номографические шкалы, для которых характерно выделение на шкале, построенной в некоторой системе координат, кривых или поверхностей, для которых выполняется некоторое условие (функциональная зависимость), связывающее параметры, отложенные по координатным осям. Номографические шкалы позволяют оценить область пространства, в которой находится некоторая группа решений задачи или, наоборот, выдвинуть гипотезу о принадлежности априори неизвестной функциональной зависимости некоторому классу. Для представления многомерных шкал часто используются различные двухмерные отображения объемных тел, выступающих в качестве метафоры многомерного пространства. Однако, в силу действия ограничений пространственного мышления человека, в случае необходимости отображения многомерной шкалы с количеством параметров, превышающим три, как правило, используются связные развертки таких тел или совокупность связных (по одному или двум параметрам) двухмерных или трехмерных шкал.

Приведенная классификация шкал позволяет осмыслить ранее введенное понятие метрики или меры близости, поскольку использование шкал дает возможность перейти от абстрактного к предметному мышлению, благодаря возможности пространственной интерпретации терминов. Следует заметить, что переход от абстрактного мышления к предметному является одним из мощнейших инструментов активизации мышления, такие переходы на некоторых этапах анализа обеспечивают возможность априорной верификации гипотез (без проведения эксперимента). В явном виде представленное пространство признаков позволяет выбрать класс метрик, пригодных для сравнения экспертных оценок, и методов их анализа.

В зависимости от типа геометрической интерпретации пространства могут использоваться различные методы упорядочения, сравнения, вычисления среднего значения и так далее. Пространства признаков могут быть векторными (с учетом направления), скалярными, неметризованными, евклидовыми, сферическими и иными — в зависимости от выбора для выполнения перечисленных операций используется различный математический аппарат. Наиболее распространенными видами геометрической интерпретации пространства признаков являются так называемые евклидовы векторные пространства, в которых определены операции сложения и умножения на действительные числа, а также операция скалярного произведения, что позволяет вводить метрику для определения расстояний, длин векторов и решения иных задач. Характерно, что такие системы могут быть переведены в ортонормированный базис, что позволяет воспользоваться привычными приемами тригонометрических вычислений.

После того, как некоторым способом (анкетирование, опрос по системе Дельфи, мозговой штурм и т. п.) была получена совокупность экспертных оценок по некоторой проблеме, от этапа сбора данных методом экспертных оценок переходят к процедуре обработки и оценивания результатов. Здесь большую роль играет то, каким образом на этапе составления анкеты или логической схемы опроса было организовано пространство признаков, соответствовала ли система шкал задачам, решаемым в ходе опроса, существует ли возможность сопоставить полученные результаты и вывести по ответам экспертов некую закономерность. Мы не случайно вновь упомянули шкалы и пространство признаков: очевидно, что одно дело обрабатывать величины дискретные, а другое — непрерывные, или, что решение задачи меньшей размерности проще, чем решение задачи большой размерности, в которой трудно выделить логически независимые блоки.

Для решения задачи обработки и анализа экспертных оценок широко используются как общие математические и статистические методы, так и специфические методы — такие, как:

— методы ранжирования и гиперупорядочения;

— методы попарных сравнений;

— метод отбрасывания альтернатив;

— алгоритмы отыскания медианы и иные.

Важную группу методов образуют методы математической обработки результатов измерений:

— методы отбраковки результатов аномальных измерений;

— методы оценки ошибок и погрешностей;

— методы обработки неравноточных измерений;

— метод наименьших квадратов;