Большая Советская Энциклопедия (СТ) - БСЭ БСЭ

  В. М. Симчера.

Статистическая гипотеза

Статисти'ческая гипо'теза, предположительное суждение о вероятностных закономерностях, которым подчиняется изучаемое явление. Как правило, С. г. определяет значения параметров закона распределения вероятностей или его вид. С. г. называется простой, если она определяет единственный закон распределения; в ином случае С. г. называется сложной и может быть представлена как некоторый класс простых С. г. Например, гипотеза о том, что распределение вероятностей является нормальным распределением с математическим ожиданием а = а0 и некоторой (неизвестной) дисперсией s2 будет сложной, составленной из простых гипотез а = а0 ,   (а0 и   — заданные числа). См. Статистическая проверка гипотез .

Статистическая лингвистика

Статисти'ческая лингви'стика, дисциплина, изучающая количественные закономерности естественного языка, проявляющиеся в текстах. В основе С. л. лежит предположение, что некоторые численные характеристики и функциональные зависимости между ними, полученные для ограниченной совокупности текстов, характеризуют язык в целом или его функциональные стили (публицистический, научный, художественный и т.п.). Практически важной и наиболее изученной числовой характеристикой является относительная частота употребления различных лингвистических единиц (букв, фонем, слогов, слов, синтаксических конструкций), их классов (например, гласных, согласных, частей речи) и сочетаний (например, последовательностей из n букв). Данные о частоте слов (иногда словосочетаний) отражаются в частотных словарях . Важную роль в С. л. играет функциональная зависимость, приближённо описывающая связь между частотой слова и его номером (рангом) в последовательности по убыванию частот — Ципфа — Мандельброта закон. С. л. изучает также зависимости между частотой и длиной слова (в числе слогов), числом его значений и возрастом. Накопленные данные используются для выявления особенностей стиля отдельных авторов, атрибуции текстов, дешифровки исторических письменностей, для решения задач стенографии, теории связи, а также информатики . С. л. при получении численных характеристик использует методы математической статистики и некоторые методы теории информации (для определения энтропии и избыточности языка, см. Информации теория ), а для установления связи между наблюдаемыми характеристиками и выбора наиболее существенных из них — метод математических моделей, базирующихся на понятиях теории вероятностей (см. Вероятностей теория ) и математической лингвистики . Возможно более широкое понимание С. л. как использования методов статистики для проверки лингвистических гипотез, которые могут носить и качественный характер.

  Лит.: Головин Б. Н., Язык и статистика, М., 1971; Фрумкина Р. М., Статистические методы и стратегия лингвистического исследования, «Изв. АН СССР. Серия литературы и языка». 1975, т. 34, №2; Штейнфельдт Э. А., Частотный словарь современного русского языка, Таллин, 1963; Herdan G., The advanced theory of language as choice and chance, B.,1966; Mulier Ch., Initiation a la statistique linguistique, P., 1968.

  М. В. Арапов.

Статистическая механика

Статисти'ческая меха'ника, тоже, что статистическая физика .

Статистическая проверка гипотез

Статисти'ческая прове'рка гипо'тез, система приёмов в математической статистике , предназначенных для проверки соответствия опытных данных некоторой статистической гипотезе . Процедуры С. п. г. позволяют принимать или отвергать статистические гипотезы, возникающие при обработке или интерпретации результатов измерений во многих практически важных разделах науки и производства, связанных с экспериментом. Правило, по которому принимается или отклоняется данная гипотеза, называется статистическим критерием. Построение критерия определяется выбором подходящей функции Т от результатов наблюдений, которая служит мерой расхождения между опытными и гипотетическими значениями. Эта функция, являющаяся случайной величиной, называется статистикой критерия, при этом предполагается, что распределение вероятностей Т может быть вычислено при допущении, что проверяемая гипотеза верна. По распределению статистики Т находится значение Т0 , такое, что если гипотеза верна, то вероятность неравенства T >T0 равна a, где a — заранее заданный значимости уровень . Если в конкретном случае обнаружится, что Т > T0 , то гипотеза отвергается, тогда как появление значения Т £ T0 не противоречит гипотезе. Пусть, например, требуется проверить гипотезу о том, что независимые результаты наблюдений x1 ,..., xn подчиняются нормальному распределению со средним значением а = a0 и известной дисперсией s2 . При этом предположении среднее арифметическое  результатов наблюдений распределено нормально со средним а = a0 и дисперсией s2 /n , а величина  распределена нормально с параметрами (0, 1). Полагая   можно найти связь между T0 и a по таблицам нормального распределения. Например, при гипотезе а = a0 событие Т > 1, 96 имеет вероятность а = 0,05. Правило, рекомендующее считать, что гипотеза а = a0 неверна, если Т > 1,96, будет приводить к ложному отбрасыванию этой гипотезы в среднем в 5 случаях из 100, в которых она верна. Если же Т £ 1,96, то это ещё не означает, что гипотеза подтверждается, т.к. указанное неравенство с большой вероятностью может выполняться при а , близких к a0 . Следовательно, при использовании предложенного критерия можно лишь утверждать, что результаты наблюдений не противоречат гипотезе а = a0 . При выборе статистики Т всегда явно или неявно учитывают гипотезы, конкурирующие с гипотезой а = a0 . Например, если заранее известно, что а ³ a0 , т. е. отклонение гипотезы а = a0 влечёт принятие гипотезы а > a0 , то вместо Т следует взять . Если дисперсия s2 неизвестна, то вместо данного критерия для проверки гипотезы а = a0 можно воспользоваться т. н. критерием Стьюдента, основанным на статистике  которая включает несмещенную оценку дисперсии

  и подчинена Стьюдента распределению с n — 1 степенями свободы (подобную задачу см. в ст. Математическая статистика , табл. 1a). Такого рода критерии называются критериями согласия и используются как для проверки гипотез о параметрах распределения, так и гипотез о самих распределениях (см. Непараметрические методы ). При решении вопроса о принятии или отклонении какой-либо гипотезы H0 с помощью любого критерия, основанного на результатах наблюдения, могут быть допущены ошибки двух типов. Ошибка «первого рода» совершается тогда, когда отвергается верная гипотеза H0 . Ошибка «второго рода» совершается в том случае, когда гипотеза H0 принимается, а на самом деле верна не она, а какая-либо альтернативная гипотеза Н . Естественно требовать, чтобы критерий для проверки данной гипотезы приводил возможно реже к ошибочным решениям. Обычная процедура построения наилучшего критерия для простой гипотезы заключается в выборе среди всех критериев с заданным уровнем значимости и (вероятность ошибки первого рода) такого, который приводил бы к наименьшей вероятности ошибки второго рода (или, что то же самое, к наибольшей вероятности отклонения гипотезы, когда она неверна). Последняя вероятность (дополняющая до единицы вероятность ошибки второго рода) называется мощностью критерия. В случае, когда альтернативная гипотеза Н простая, наилучшим будет критерий, который имеет наибольшую мощность среди всех других критериев с заданным уровнем значимости а (наиболее мощный критерий). Если альтернативная гипотеза Н сложная, например зависит от параметра, то мощность критерия будет функцией, определенной на классе простых альтернатив, составляющих Н , т. е. будет функцией параметра. Критерий, имеющий наибольшую мощность при каждой альтернативной гипотезе из класса Н , называется равномерно наиболее мощным, однако следует отметить, что такой критерий существует лишь в немногих специальных ситуациях. В задаче проверки гипотезы о среднем значении нормальной совокупности а = а0 против альтернативной гипотезы а > a0 равномерно наиболее мощный критерий существует, тогда как при проверке той же гипотезы против альтернативы а ¹ a0 его нет. Поэтому часто ограничиваются поиском равномерно наиболее мощных критериев в тех или иных специальных классах (Инвариантных, несмещенных критериев и т.п.).