Звуки и знаки - Александр Кондратов

Вы, вероятно, заметили, что по мере того, как мы учитываем все более и более «дальние» связи между буквами, уменьшается количество информации на одну букву и соответственно увеличивается избыточность языка. Возможно, вы заметили и другое: одновременно происходит сближение величины информации в языках, пользующихся различными алфавитами, по мере того, как мы все точнее и точнее описываем наш код-язык.

Действительно, когда была определена величина информации, приходящаяся на одну букву осмысленного текста в разных языках мира, она оказалась примерно одинаковой.

Методом отгадывания

Каким образом удалось определить эту величину? Ведь учет даже трехбуквенных сочетаний, частоты их „употребления в текстах того или иного языка требует работы огромного объема. Между тем статистические связи между буквами, конечно, не ограничиваются триграммами, учетом частот всех этих тся, сть, щий и т. п. Надо знать частоты сочетаний четырех, пяти и более букв.

Однако на этом пути мы заходим в тупик. Число возможных комбинаций из девяти букв, например, измеряется триллионами. Сколько же текстов мы должны исследовать, чтобы получить достоверную статистику! А ведь и девять букв — не предел. Мы пишем и говорим предложениями, значит, в пределах этого предложения будут существовать статистические связи между буквами, задаваемые лексикой, грамматикой, синтаксисом. Длина же предложения измеряется десятками букв.

Задача, казалось бы, неразрешимая… Однако Клод Шеннон, одним из первых занявшийся изучением языка как кода, предложил остроумный способ решения этой задачи с помощью так называемого метода отгадывания. Метод этот был усовершенствован крупнейшим математиком нашей страны А. Н. Колмогоровым. С помощью этого метода была определена величина информации, приходящаяся на одну букву русского, английского, французского, польского, румынского, азербайджанского и других языков мира. (Первоначально опыты проводились в МГУ, а затем были продолжены ленинградским лингвистом Р. Г. Пиотровским, описавшим их в книге «Информационные измерения языка».)

Мы уже говорили о том, что информация — это то, что снимает неопределенность, уничтожает незнание… Где существует неопределенность, которую снимают буквы того или иного языка? Разумеется, в голове читателя осмысленного текста на этом языке. Вот этого-то читателя и надо использовать в качестве своеобразного измерителя величины информации, которую несет одна буква алфавита.

На одном полюсе будет человек, который не знает языка. Для него все буквы равновероятны, избыточность алфавита равна нулю, и один знак несет максимальную информацию кода (и никакой осмысленной информации не дает!). На другом полюсе—носитель языка, превосходно знающий его, интуитивно чувствующий вероятность появления того или иного слова в тексте. Такому человеку дается определенный текст, он прочитывает несколько страниц, вникает в стиль, сюжет, манеру повествования. Затем текст закрывается, и далее начинается процедура отгадывания. Предлагается найти продолжение этого текста: какая буква должна появиться?

Например, в опытах Пиотровского предлагался отрывок из статьи, опубликованной в газете «Известия»: «И вот, приехав в тот город, где друг мой в свое время справлял свадьбу, я встретил его жену и сына, который учится уже в пятом классе. И сын его меня расспрашивает, правда ли, что я служил с его отцом, на каких кораблях плавали, где бывали. Я отвечаю на эти как будто нехитрые на первый взгляд…»

Дальше текст закрывался и предлагалось угадать букву, которая должна последовать. Отгадчик мог отказаться от ответа (в самом деле, мало ли какое слово может последовать после слов «на первый взгляд») или мог предложить какую-либо букву (например, в, считая, что следующим словом будет вопросы). Вслед за тем отгадчику называлась эта буква (в данном случае ею была буква р). Процедура вновь повторялась, причем отгадчик мог называть предполагаемую букву с малой или большой степенью уверенности, назвать две возможные в данном контексте буквы, имеющие, по его мнению, равную вероятность, или же отказаться от угадывания (в нашем примере требовалось угадать слово ребячьи — угадывание его шло безошибочно, когда известны стали три первые буквы; вероятно, столь же нетрудно угадать и дальнейшее продолжение — слово вопросы).

Полученные результаты обрабатывались математически. В итоге можно было получить величину информации, приходящуюся на одну букву осмысленного русского текста. Опыты, проведенные в МГУ, показали, что для классической русской прозы (отгадывались «Детские годы Багрова-внука» Аксакова и «Литературные вечера» Гончарова) она равна примерно одному биту. Сходную величину дали и опыты Р. Г. Пиотровского. Если сравнить эту величину в пятью «исходными» битами, мы увидим, что избыточность литературного русского языка классической прозы равна восьмидесяти процентам. Иными словами, четыре из пяти букв — «лишние»!

В пределах семидесяти-восьмидесяти процентов оказалась величина избыточности и для английского, французского, румынского, польского, азербайджанского, казахского языков. Весьма вероятно, что и во всех других языках мира избыточность, которую называют еще своеобразным запасом прочности языка, находится в этих пределах. Если бы в языке не было избыточности, то любое сочетание кодовых знаков, букв, образовало бы осмысленное слово, и тогда почти невозможно было бы исправить ошибку в написании. Не существовало бы и правил грамматики, и сочетаний смыслов слов… Так что избыточность это не излишество, не показатель несовершенства языка по сравнению с техническими кодами, а его важное и нужное свойство, которое возникло многие тысячи лет назад, но лишь сейчас начинает нами осознаваться благодаря теории информации.

Биты, стили, «подъязыки»

Во всяком ли русском тексте четыре пятых букв — «лишние»? Нет, не во всяком. Вспомните телеграммы: в текстах телеграмм мы стараемся уменьшить избыточность языка, опускаем предлоги, глагольные связки и т. п. Однако эта экономия имеет свой предел, иначе получатель нашей телеграммы не поймет текст. Ленинградские исследователи О. Л. Смирнов и А. В. Екимова, используя метод отгадывания, попробовали определить величину информации, приходящуюся на одну букву «телеграфного языка» (или если применять лингвистическую терминологию, подъязыка телеграмм). Для этого были взяты телеграфные тексты общим объемом в пятнадцать тысяч букв. Оказалось, что величина информации почти в полтора раза превышает ту, что несет одна буква литературного русского языка!

На другом полюсе находятся деловые тексты. Величина избыточности здесь, в отличие от телеграмм, наоборот, завышается для большей надежности. Деловые тексты имеют стандартные обороты, словосочетания, синтаксические конструкции. Да и содержание их также вращается в строго заданной сфере — будь это химия, геология, метеорологическая сводка или бухгалтерский отчет. Так, например, опыты по угадыванию специального текста — документации финансового отдела одного из рудоуправлений Донецкой области — показали, что величина избыточности здесь доходит до девяноста процентов.

Правда, девять из десяти букв текста документации угадывали только специалисты, хорошо знакомые с бухгалтерским делом, имевшие опыт работы с подобного рода текстами изо дня в день. Когда же в эксперименте приняли участие специалисты, знакомые с текстом в меньшей степени, они смогли угадать не девять, а восемь букв из каждых десяти (то есть избыточность равна не девяноста, а восьмидесяти процентам). А неспециалисты могли угадать лишь четыре — шесть букв из каждых десяти букв этого бухгалтерского текста, в котором встречалось много обособленных слов, сокращений, стандартных формулировок, понятных лишь знатокам.

Здесь мы переходим к интереснейшему вопросу, связанному уже не только с языком-кодом, но и тем, как пользуется получаемой информацией человек. Один и тот же текст может содержать разное количество информации в зависимости от того, кто получает эту информацию: насколько владеет языком получатель, каков его прошлый опыт, какова его психологическая настройка и т. п. Иными словами, от информации объективной мы переходим к информации субъективной.

Работы в этом направлении только-только начинаются. С помощью теории информации делаются попытки выразить в числах различные аспекты деятельности человека, которые казались прежде чисто субъективными, неподвластными мере и числу. Например, восприятие, понимание, обучение, запоминание, принятие решений и многие другие психические процессы.

Причем делается это уже не в стиле бандвагона от науки, о котором иронично писал Шеннон, а на основании детальных и серьезных исследований. На первых этапах терминами, взятыми из арсенала теории информации, назывались явления, норой давным-давно известные специалистам в данной области, лишь получавшие модное наименование. Ныне речь идет о точных мерах, не об «информации вообще», которую перерабатывает мозг, а о величине, выраженной в битах, определенной по формуле Шеннона.