Методы статистического анализа литературных текстов

Обсуждаемые вопросы
Точность статистического анализа в зависимости от объема текста.
Идентификация автора неизвестного текста в библиотеке эталонов, создание эталонов и кластеризация текстов.
Оператор трансляций распределения текста по буквам и спектральные портреты. Эффект переводчика.

Обсуждаемые вопросы
Анализ авторских тандемов и проверка текста на однородность. Динамические системы, генерирующие ряд расстояний между одинаковыми буквами в тексте.
Анализ европейских языков. Функция распределения букв по частоте встречаемости. Фонетический анализ алфавитов по избыточности или недостаточности символов.

Цель и программа работы
Сопоставление тексту структуры в фазовом пространстве (букв, слов и т.п.)
Введение нормы как расстояния между структурами в фазовом пространстве
Определение проекторов на подпространства с целью классификации: языка текста, эпохи написания, типа (проза или поэзия), формата (роман, очерк, эссе), жанра (детектив, триллер), автора

Текстовый инвариант? – Нет!
Текстовый инвариант – это функционал F(T) от текстовой структуры. Два текста близки в фазовом пространстве, если близки функционалы: .
Цель работы – ввести наилучшим образом расстояние в пространстве структур
,
т.е. рассматривать не разность функционалов, а функционал разности.

1. Статистическая достоверность определения частот употребления букв
в литературных произведениях

Выборочное распределение текста по буквам
Пусть ξ – случайная величина (буква или буквосочетание), принимающая значения из конечного упорядоченного множества букв (пар букв, и т.д.) в алфавите.
1-ВПФР f1N(i) есть эмпирическая вероятность обнаружения данной (i-ой) буквы в тексте из N символов, 2-ВПФР f2N(i,j) – пары букв, и т.д.
«Время» – это порядковый номер буквы в тексте. Пробелы и знаки игнорируются.

Минимально достаточная длина текста
Тексты должны быть таких длин, чтобы статистическая неопределенность в оценке вероятностей буквосочетаний была «много меньше» наблюденного расстояния между распределениями
Основная гипотеза: распределения буквосочетаний для каждого автора квазистационарны

Оценка достаточной длины текста
Для стационарного процесса оценка среднего при неизвестной дисперсии дается статистикой Стьюдента
Оценка длины текста для построения распределения с точностью ε:

Достаточная длина текста
При ε=0,05:
для 1-ПФР N=40 тыс. знаков,
для 2-ПФР N=400 тыс. знаков,
для 3-ПФР N=4 млн знаков.

Распределение расстояний между 2-ПФР в норме L1

Минимальная длина текста

Уровень нестационарности текстов
Расстояние между ПФР текстов:
Чтобы сравнивать распределения текстов разных объемов, следует убедиться в том, что каждый из них стабилизируется:

Длина квазистационарности L(ε) для 1-ПФР
Для практических целей, где допустимы небольшие отклонения 1-ПФР отрывка от 1-ПФР всего текста, достаточно сравнительно небольших объемов текстов.

2. Кластеризация текстов, создание эталонных распределений
и метод идентификации автора

Идентификация автора текста
Пусть имеется библиотека из A авторов, у a-го автора текстов, в i-ом тексте знаков, и есть ПФР отдельного текста. Вводится эталонная ПФР автора:
Пусть - ПФР текста неизвестного автора. Автор определяется по правилу

Авторские 1-ПФР
Вывод: авторские 1-ПФР очень близки, поэтому различие между ними должно выявляться на «тонкой структуре» их взаимных различий, а не функционала от них как таковых

Ошибки 1-го и 2-го родов
функция распределения расстояний текстов автора от его эталона;
чужих текстов от него же;
есть вероятность ошибочно отклонить текст автора, посчитав его чужим (ошибка 1-го рода);
есть вероятность ошибочно признать чужой текст авторским (ошибка 2-го рода)

Мощность статистических методов идентификации автора

Шолохов – автор «Тихого Дона» по расстояниям между 2-ПФР текстов с вероятностью 96%

Распределение расстояний между произведениями Шекспира

Шекспир – автор всех своих пьес по расстояниям между 2-ПФР текстов с вероятностью 94%

3. Спектральные портреты авторов
и эффект переводчика

Оператор трансляций
Пусть есть условная вероятность того, что буква следует за буквой .
Пусть также есть -ая компонента вектора вероятностей того, что буква реализуется в тексте в момент .
Тогда

Оператор трансляций на 1 шаг
выражается через 1-ПФР и 2-ПФР:
По формуле полной вероятности
Следовательно, 1-ПФР
является с.в. оператора , отвечающим с.з. 1.

ε-спектр оператора соседних трансляций
Число λ называется принадлежащим ε-спектру матрицы P, если существует матрица Δ такая, что
Резольвентой матрицы P называется
матрица
Тогда если

Вычисление ε-спектра
Параметром дихотомии спектра относительно кривой называется норма квадрата резольвенты на данной кривой:
Если на кривой нет точек спектра, то норма резольвенты на этой кривой конечна.
Спектральные портреты операторов P для разных авторов показывают устойчивость этой структуры для текстов одного автора и различающиеся картины для разных авторов.

Примеры спектральных портретов писателей

Примеры спектральных портретов писателей

Примеры спектральных портретов писателей

Примеры спектральных портретов писателей

Примеры спектральных портретов писателей

Эффект переводчика и вектор «подсознания»
Кроме с.з. , которому отвечает с.в. 1-ПФР f , у оператора P(1) еще одно устойчивое с.з. .
Ему отвечает правый с.в. S и левый S*.
Оказалось, что , т.е. векторы S* и f приближенно образуют главные направления оператора трансляций.
Вектор S, как и вектор 1-ПФР f , весьма точно идентифицирует автора. Однако в переводах это идентификационное свойство теряется.
Вывод: изложение можно отличить от сочинения, а переводчик не является соавтором.

Шекспир – оригинальный текст
«Гамлет»
«Много шума из ничего»

Шекспир – перевод
«Гамлет»
(Лозинский)
«Много шума из ничего»
(Щепкина-Куперник)

4. Анализ авторских тандемов
и проверка текста на однородность

Горизонтный ряд
Пусть x(t) – эквидистантный временной ряд, f(N,t) – его ВПФР, построенная к моменту t по выборке объема N.
Горизонтным рядом для ряда x(t) называется минимальный объем выборки такой, что

Примеры горизонтных рядов
Сдвиг ВПФР на τ = 10
при уровне
ε = 0,05
Значения h, близкие к предельным, означают хаос, а уменьшение означает взаимосвязь элементов

Горизонтный ряд как индикатор разладки (τ = 10, ε = 0,05)

Распределения горизонтных рядов для τ = 10, ε = 0,05

Распределение расстояний между одинаковыми буквами

Распределение горизонтного ряда для расстояний «b-b» (τ = 10, ε = 0,05)
Для всех букв распределение горизонтного ряда одинаково. Оно похоже на распределение для нелинейно коррелированных многомерных ХДС.

Горизонтные ряды расстояний между гласными для моно и тандема
У моно-писателей горизонтный ряд не достигает последней полосы шириной в горизонт, а у тандемов есть места максимальных рассогласований

5. Упорядоченность букв по частоте встречаемости в европейских языках

Расстояния между текстами при различном упорядочении

Распределение букв по частоте в алфавите из n=32 знаков
С детерминацией 0,97

Распределение букв по частоте в текстах на русском языке
Минимальная интегральная ошибка приближения, равная 0,05, получается при o=0 в модели:
Эта зависимость выполнена и для старославянских текстов (n=43), и для русской литературы XIX века (n=37). Для русских текстов в транслите (n=23 символа) o=+9.

Избыточность и недостаточность алфавитов европейских языков
Параметр o трактуем как оценку избыточности (o<0) или недостаточности (o>0) алфавита по отношению к звуковому ряду. В текстах на всех языках без огласовки n = 20, o = 0.

Основные результаты
3-ПФР представляет ту текстовую структуру, расстояние в которой позволяет с высокой точностью опознавать автора
Построен индикатор однородности текста (горизонтный ряд), позволяющий анализировать небольшие фрагменты на предмет количества возможных соавторов
Изучен спектр оператора эволюции 1-ПФР и показана авторская устойчивость спектральных портретов. Пара главных направлений позволяет определить, собственный ли это текст автора, или изложение чужих мыслей
Найдено универсальное полуэмпирическое распределение букв по частоте встречаемости в европейских языках, позволяющее оценить фонетическую адекватность алфавита