Метод определения тематики математических документов на основе вероятностной модели скрытого размещения Дирихле

Постановка задачи

Цель работы

Модель скрытого размещения Дирихле

Модифицированный вариационный вывод Байеса

Схема работы программы

Загрузка коллекции документов
и предпроцессорная обработка

Извлечение текста из PDF документа

Формирование «мешка слов»

Процесс тематического моделирования

Тестирование работы программы
В качестве коллекции русскоязычных математических документов были использованы труды математического центра имени Н.И. Лобачевского. Коллекция состояла из 20 томов.
В каждом томе содержались статьи различной направленности и длины, от одной страницы до 34 страниц.
Слов в коллекции: 313992
Уникальных слов: 31082

Результаты обработки коллекции

Результаты обработки одной статьи из коллекции

Перспективы развития работы
Использование методов оптического распознавания символов
(Optical Character Recognition, OCR)
Создание русскоязычного словаря математических терминов
на основе советской математической энциклопедии в пяти томах
под редакцией Виноградова И. М.

Заключение