Автоматическое формирование рубрикатора полнотекстовых документов

Постановка задачи
Дано:
фонд полнотекстовых документов университетской библиотеки (учебные, обзорно-аналитические материалы различного объёма)
Требуется:
создать средство тематической навигации по всему фонду или по его подмножествам, способное автоматически подстраиваться под тематику конкретного набора документов.

Механизм применения средства тематической навигации

Требования к виду искомой навигационной схемы
Рубрикатор, унаследовавший основные характеристики от традиционного предметного рубрикатора библиотеки МГТУ им. Н. Э. Баумана:
иерархические связи между рубриками (не более 2-3 уровней);
родственные связи между рубриками (типа «см. также»);
краткое описание и список ключевых слов.

Способ представления рубрикатора
, где
– это множество вершин
– множество рёбер графа,
Граф G* является многоуровневым и содержит подграфы
Каждая выявленная группа документов должна иметь название и список ключевых слов.
графа, отражающих кластеры документов, полученные при кластеризации коллекции полнотекстовых документов на заданном уровне иерархии;
Рубрикатор в виде графа
отражающих как иерархические так и родственные связи.

Функциональная схема автоматического формирования рубрикатора

Выбор подхода к формированию образов документов

Предложенный алгоритм формирования образов документов
Построение словаря признаков (одиночных слов) всех документов (морфологический анализ – стеммер М.Портера).
Принудительная редукция признаков:
удаление стоп-слов;
Удаление слов по критерию документальной частоты с порогами tDFmin и tDFmax, где tDFmin=<1 документ> и tDFmax=<80% документов>.
Взвешивание признаков документов по схеме TFIDF.
Принудительная редукция признаков (продолжение):
для каждого документа в отдельности удаление некоторой доли tWP самых маловесомых признаков, где tWP=0.60.
Избирательная редукция:
удаление из образов некоторых документов тех признаков, что обладают слабой различительной способностью для представления некоторого тематического класса.

Иллюстрации к предположению об избирательной редукции (1)

Иллюстрации к предположению об избирательной редукции (2)
α
β

Алгоритм избирательной редукции

Выбор алгоритма кластеризации

Модифицированный алгоритм кластеризации документов

Дополнение кластерной структуры до искомого рубрикатора

Тестовые коллекции
On-line библиотека CITFORUM (http://www.citforum.ru): наработка эмпирических сведений к методу формирования рубрикатора и оценка его эффективности (CL1572).
Ресурсы библиотеки МГТУ им. Н. Э. Баумана – коллекция авторефератов диссертаций – апробация системы формирования рубрикатора (TAL234).
Коллекция нормативно-правовых документов законодательства Российской Федерации, сформированная в 2004 году для выполнения заданий в рамках РОМИП (Legal2004_5000). Отобраны те документы, для которых есть информация о их принадлежности рубрикам, - 25034 документов.

Меры качества кластеризации
Внешние меры: автоматическое сравнение полученного разбиения документов с «эталонным» разбиение на кластеры (рубрики).
Внутренние меры: автоматическая оценка свойств отделимости и компактности полученного разбиения документов.

Внешние меры качества кластеризации
Полнота
Точность
F1-мера
Ошибка
Аккуратность
и др.

Внутренние меры качества кластеризации
Оценка иерархического разбиения:
Кофенетический коэффициент корреляции (CPCC)
Оценка плоского разбиения:
Индекс Данна (Dunn, DI)
Индекс Девиса-Булдина (Davies-Bouldin, DB)
Индекс Калинского и Гарабача (Calinski и Harabasz, CH)
I-индекс (I-index)

Испытания алгоритма формирования образов (на CL1572)
Оценка способа формирования образов.
(1) – без редукции, (2) – с принудительной редукцией,
(3) – с принудительной и избирательной редукцией

Испытание модифицированного алгоритма кластеризации (на CL1572)
Оценка алгоритма кластеризации:
(1) – иерархический агломеративный алгоритм (усечение дерева при пороге меры близости – 0,20),
(2) – исходный алгоритм послойной кластеризации (два уровня при порогах меры близости {0,40; 0,20}),
(3) – модифицированный алгоритм послойной кластеризации (два уровня при порогах меры близости {0,40; 0,20}).

Пример интерфейса навигации по подмножеству CL1572

Испытание модифицированного алгоритма кластеризации (на TAL234)
Ошибка автоматической классификации на TAL234:
3,2% - в сравнении с классификацией авторефератов по УДК;
13,6% - в сравнении с областью знания по номенклатуре ВАК , что объясняется тематическим перекрытием укрупнённых направлений, по которым осуществляется подготовка и защита диссертаций.

Испытания системы на Legal2004_5000 (1)
Оценить качество кластеризации предложенным методом со значениями параметров, подобранными ранее на других коллекциях.
Сравнить качество кластеризации при различных значениях параметров алгоритмов.
Продолжить экспериментальное исследование алгоритма избирательной редукции.
Оценить устойчивость метода (например, методом половинного деления).
Оценить зависимость значений внешних и внутренних мер качества кластеризации.
Усовершенствовать алгоритм формирования названий кластеров.

Испытания системы на Legal2004_5000 (2)
Оценка кластеризации модифицированным алгоритмом (Legal2004_5000):
(1) – с принудительной редукцией,
(2) – с принудительной и избирательной редукцией (порог меры близости = 0,60).

Испытания системы на Legal2004_5000 (3)
Количественные характеристики пространства признаков

Дальнейшие планы
Закончить эксперименты на 5000 документов
Провести исследования на 25034 документов
Получить основания для выбора дальнейшего пути развития метода формирования рубрикатора