Методы статистического анализа исторических текстов (часть 1)

Фоменко Анатолий Тимофеевич

Книга посвящена новому направлению в современной прикладной статистике. Предлагаются эмпирико-статистические методы распознавания зависимых и независимых текстов, в том числе исторических, т. е. текстов повествовательного характера, например хроник, летописей Эти методы позволяют во многих случаях датировать древние тексты, описанные в них события и могут применяться для анализа текстов самой разной природы, в теории распознавания образов, при анализе генетических кодов, для уточнения дат древней хронологии. Представлен богатый научный материал — результаты статистической обработки хроник, древних астрономических сообщений, летописей. Книга стала уникальным явлением в мировой научной литературе по прикладной статистике.

Для специалистов в области математической статистики и распознавания образов, лингвистики, филологии, хронологии, истории, а также широкого круга читателей.

Предисловие А.Н. Ширяева

(К первому изданию книги «Методы статистического анализа нарративных текстов и приложения к хронологии» в 1990 году)

Сегодня методы прикладной статистики проникают в самые различные области знания, в том числе и в задачи изучения текстов различной природы. При этом под «текстом» могут пониматься последовательности сигналов того или иного типа, длинные коды, возникающие в генетике, графические изображения (которые можно закодировать и представить в виде «текста»), а также и реальные нарративные тексты (например, исторические хроники, первоисточники, документы и т. п.)

Одна из важных возникающих здесь задач состоит в распознавании зависимых текстов, т. е. «похожих» текстов, имеющих в некотором смысле общую природу, общее происхождение. Например, в задаче распознавания образов важно обнаружить среди большой совокупности «изображений» такое, которое максимально «близко» к заранее заданному: в задаче изучения длинных последовательностей сигналов важно уметь обнаруживать «однородные подпоследовательности» и места их стыковок. Сюда относится, в частности, и известная задача о разладке, решению которой в математической статистике, статистике случайных процессов уделяется большое внимание.

Применительно к проблемам изучения нарративных текстов задача распознавания зависимых и независимых текстов (например, хроник) звучит как задача поиска текстов, восходящих, например, к одному общему первоисточнику, оригиналу (такие тексты естественно назвать зависимыми), или, напротив, восходящих к существенно разным первоисточникам (такие тексты естественно назвать независимыми). Ясно, что задачи этого типа чрезвычайно сложны и поэтому следует приветствовать появление новых эмпирико-статистических методов распознавания, которые, в совокупности с классическими подходами могут быть полезны в конкретных исследованиях (например, источниковедческих).

Настоящая книга профессора чистой математики А.Т. Фоменко ориентирована, в основном, на разработку таких новых методов применительно к проблеме распознавания зависимых и независимых нарративных текстов и для их датировки (по отношению к текстам с заранее известной достоверной датировкой).

Автор книги предлагает новый подход к задаче распознавания зависимых и независимых нарративных (исторических) текстов на основе нескольких новых эмпирико-статистических моделей (закономерностей), обнаруженных им в результате обширных статистических экспериментов с различными количественными характеристиками конкретных текстов, хроник, первоисточников и т. п. Проверка этих моделей (статистических гипотез) на конкретном материале хроник подтвердила эффективность моделей и позволила предложить новые методы датировки текстов (а точнее, описываемых в этих текстах событий).

Предисловие А.Т. Фоменко

Почему сегодня мы поднимаем вопрос о хронологии древности и предлагаем заново проанализировать ее при помощи новых эмпирико-статистических методов? Следует напомнить, что ранее, в XV–XVI веках хронология считалась разделом математики. Затем постепенно она перешла в ведение историков и сегодня рассматривается как область исторических знаний, в целом завершенная и нуждающаяся лишь в отдельных уточнениях, не затрагивающих всего здания хронологии в целом. Тем не менее, оказывается, что принятая сегодня хронология древности несет в себе глубокие противоречия. В связи с этим уместно попытаться при помощи современных статистических методов снять хотя бы некоторые из этих трудностей.

Довольно часто задают вопрос: почему математики занялись этой вроде бы исторической проблемой? Каковы побудительные мотивы?

Ответ следующий. Основные мои интересы, как профессионального математика, лежат далеко от проблем хронологии и истории. Однако, в середине семидесятых годов, исследуя один из важных вопросов небесной механики (о чем более подробно речь пойдет ниже в Главе 2) мне пришлось столкнуться с датами древних затмений. Речь шла о вычислении так называемого параметра D″ в теории движения Луны. Параметр характеризует ускорение и вычисляется как функция времени на большом интервале исторического времени. Вычисления были проделаны известным современным американским астрономом Робертом Ньютоном. Закончив их, он неожиданно обнаружил, что параметр D″ ведет себя чрезвычайно загадочно. А именно, он делает необъяснимый скачок на интервале VIII–X веков н. э. Скачок невозможно объяснить на основе обычной гравитационной теории и настолько невероятен, что Роберту Ньютону пришлось для его объяснения придумать загадочные «негравитационные силы» в системе Земля-Луна. Впрочем, никаким другим образом себя не проявляющие, что было очень странно.

Меня этот непонятный эффект заинтересовал как математика. Проверка работы Р. Ньютона показала, что вычисления выполнены на высоком научном уровне, никаких ошибок нет. После этого разрыв в графике D″ стал для меня еще более непонятным. Долгое размышление на эту тему привело к мысли проверить точность ДАТИРОВОК тех древних затмений, на которых были основаны вычисления D″. Ведь эти даты лежали в фундаменте вычислений Р. Ньютона. Как потом стало понятно, эта мысль оказалась новой для ученых, ранее интересовавшихся этим вопросом. Например, Роберт Ньютон, как известный специалист по астронавигации и теории расчетов траекторий небесных тел и аппаратов, конечно, абсолютно доверял всем древним датам и пытался объяснить обнаруженный им скачок в поведении D″, не выходя за рамки своей профессиональной деятельности. То есть, не ставя вопроса о достоверности древней хронологии. Мне повезло: оказалось, что известный русский ученый энциклопедист Н.А. Морозов в свое время, в начале нашего века, проанализировал датировки древних затмений и заявил, что почти все они нуждаются в ревизии. Для многих затмений он предложил новые даты, более «близкие» к нам. Взяв его таблицы, я заменил принятые сегодня даты затмений на «морозовские» и повторил вычисления Р. Ньютона с этими измененными начальными данными. К моему удивлению график D″ сразу радикально изменился и превратился в практически горизонтальную плавную линию. Что и предсказывалось обычной гравитационной теорией. Загадочный скачок исчез. Отпала, в частности, необходимость изобретать какие-то фантастические «негравитационные взаимодействия».

Наряду с удовлетворением от удачно завершенной научной работы, возникло неожиданное осознание того, что на первый план выдвигается следующий странный и серьезный вопрос. А как же в таком случае можно доверять принятой сегодня хронологии древности? С одной стороны предложенные Н.А. Морозовым передатировки многих античных затмений привели к сглаживанию графика функции D″, к устранению странного противоречия в небесной механике и к установлению совершенно естественной картины поведения одного из важных параметров в теории движения Луны.