Извлечение метаинформации и библиографических ссылок из текстов русскоязычных научных статей

Постановка задачи
Задача: в автоматическом режиме из текста статьи, представленного в виде PDF-файла, извлечь метаданные и библиографические ссылки.
Метаинформация:
Название: Использование интеллектуальных сетевых роботов для построения тематических коллекций.
Авторы: Романова Е.В., Романов М.В., Некрестьянов И.С.
Аннотация: В работе рассматривается…
Библиографические ссылки:
1. Автор: Aalberg I.J. Название: Incremental relevance feedback. Год: 1992, Издание: ACM SIGIR…

Рассматриваемая задача актуальна для построения графа взаимного цитирования.
Автоматическое построение графа взаимного цитирования состоит из двух задач:
извлечение метаинформации и
библиографических ссылок,
сопоставление библиографических ссылок.
Построение графа взаимного цитирования позволяет
вычислять индекс научного цитирования,
осуществлять поиск научных статей путем навигации по библиографическим ссылкам,
применять методы тематического поиска научных статей, использующие структуру графа взаимного цитирования.
Практическая ценность задачи
Рассматриваемая задача

Особенности задачи
Авторы не снабжают тексты статей метаинформацией в удобной для автоматического разбора форме => требуется извлечение метаинформации из текстов статей.
Необходимо обработать большое количество статей (десятки-сотни тысяч) => ручная обработка невозможна.
Нерегулярность структуры русскоязычных статей:
- для русскоязычных статей нет общепринятых норм структурирования статей (для англоязычных статей такие нормы существуют);
- в русскоязычных статьях нет единого стиля оформления статей и библиографических ссылок. Оформление статей существенно различается;
- библиографические ссылки часто задаются неточно, с ошибками.

Особенности задачи (2)
Извлечение библиографических ссылок
Самусев С. Шамина О.
ВМиК МГУ {sam,sincere}@lvk.cs.msu.su
Аннотация
В данной работе …
1 Введение
…
Литература
[1] Freitag D., McCallum A. Information extraction with HMMs and shrinkage. Proceedings of the AAAI-99 Workshop on Machine Learning for Informatino Extraction, 1999.
[2] …

Существующие подходы
Методы, применявшиеся для англоязычных статей
Методы, основанные на правилах:
Метод, основанный на регулярных выражениях (Lawrence, 1999)
Метод, основанный на шаблонах (Chowdhury, 1999)
Методы машинного обучения:
Методы, основанные на вероятностных конечных автоматах:
- Скрытые марковские модели (Freitag&McCallum, 1999).
- Марковские модели максимальной энтропии (McCallum, 2000).
- Условные случайные поля (Lafferty&McCallum, 2001).
Метод, основанный на классификации SVM (C. Lee Giles, 2003).

Цель работы
Цель работы:
исследование применимости существующих методов, разработанных для англоязычных статей, для извлечения метаинформации и библиографических ссылок из текстов русскоязычных научных статей.
Методы, охваченные в данной работе:
метод, основанный на регулярных выражениях.
метод, основанный на скрытых марковских моделях.
метод, основанный на классификации с помощью метода опорных векторов.

Этапы решения задачи
Этап 1: преобразование текста статьи в формате PDF в промежуточное текстовое представление с сохранением дополнительной разметки:
окончаний строк,
изменений размера шрифта,
отступов строки от края страницы.
Этап 2: извлечение метаинформации и библиографических ссылок из промежуточного текстового представления с помощью одного из методов:
- метода, основанного на регулярных выражениях;
- метода, основанного на скрытых марковских моделях;
- метода, основанного на классификации.

Метод, основанный на регулярных выражениях
Из промежуточного представления текста статьи извлекается первая страница или текст до заголовка «Введение».
С помощью построенной вручную системы правил извлекается метаинформация. Пример правила:
Если на предыдущем шаге список авторов найден не был, то в первых пяти строках текста ищется строка, которой соответствует максимальный размер шрифта. Выбранная строка рассматривается в качестве возможного заголовка на следующем шаге.
От конца статьи к началу осуществляется поиск заголовка «Литература» (с вариациями, например, «Список литературы» и т.п.)
С помощью вручную построенной системы правил разбираются библиографические ссылки.

Методы машинного обучения: предобработка
Упрощенный вариант метода Rule-Based Word Clustering (Giles, 2005):
Слова в тексте статьи заменяются на признаки.
Правила замены определяются по соответствию слова словарю или заданному в виде регулярного выражения шаблону.
Слово заменяется на наиболее специфичный признак.
Примеры признаков:
:email: - по соответствию регулярному выражению
:country: - название страны, определяется по словарю
:dictWord: - словарное слово
:Cap1DictWord: - словарное слово, написанное с заглавной буквы
:mayName: - слово из словаря имен

Методы машинного обучения: предобработка (2)
Использование интеллектуальных сетевых роботов для построения тематических коллекций
Романова E.В., Некрестьянов И.С.
Санкт-Петербургский Государственный Университет, Санкт-Петербург.
emails: [e-mail], [e-mail]
Abstract:
В работе рассматривается задача создания …
:Cap1DictWord: :DictWord: :DictWord: :DictWord: :DictWord: :DictWord: :DictWord: :DictWord:
:mayName: :singleCap: :singleCap:, :mayName: :singleCap: :singleCap:
:city: :Cap1DictWord: :affi: :city:. :DictWord: : :email:, :email:, :email:
:abstract:
:singleCap: :DictWord: :DictWord: :DictWord: :DictWord: …

Методы машинного обучения: метод, основанный на СММ
Состояния соответствуют элементам метаинформации.
Наблюдаемая цепочка – последовательность признаков после предобработки.
В режиме распознавания модель по заданной наблюдаемой последовательности восстанавливает цепочку состояний, т.е. каждому признаку сопоставляет класс метаинформации.

Методы машинного обучения:
метод , основанный на классификации
Задача извлечения метаинформации рассматривается как задача классификации строк статьи:
Для каждого класса метаинформации (Title, Author, Affiliation, Address, Email, Date и т.д.) строится бинарный классификатор, использующий метод опорных векторов и стратегию «один против всех».
Контекстно-независимая классификация:
Строка представляется в виде набора признаков, основанных на свойствах слов (признаки, получены в результате предобработки).
Каждая строка классифицируется всеми классификаторами.

Методы машинного обучения:
метод, основанный на классификации (2)
Осуществляется второй шаг классификации - контекстно-зависимая классификация:
Строка представляется в виде расширенного набора признаков: добавляются метки классов соседних строк и признаки, основанные на свойствах строки (ее номер, количество слов того или иного типа и т.д.).
Для каждого класса метаинформации строятся контекстно-зависимые классификаторы и производится второй шаг классификации.

Методы машинного обучения:
метод, основанный на классификации (3)
95% строк принадлежат к одному классу, остальные – к нескольким (4,5% - к двум, 0,5% - к трем и более).
Разделение строк, относящихся к нескольким классам:
Поиск оптимальной границы (пробела или знака препинания), разделяющей строку на две части, каждая из которых относится к одному классу:
max((P1 – P2)* (N2 – N1) ), где
Р1 – оценка части Р классификатором 1;
Р2 – оценка части Р классификатором 2;
N1 – оценка части N классификатором 1;
N2 – оценка части N классификатором 2;
Случай трех и более классов сводится к последовательному применению метода для двух классов.

Экспериментальное исследование
Цель: сравнение точности методов.
Наборы данных:
- англоязычный (McCallum, 935 заголовков, 500 библиографических ссылок).
- русскоязычный (материалы конференций и семинаров ММРО, РОМИП, Диалог, Интернет-математика, публикации с graphics.cs.msu.su, 180 заголовков, 1000 библиографических ссылок).
Четыре варианта оценки: извлечено правильно (1), извлечено не все (0), извлечено лишнее (0), не извлечено (0).

Экспериментальное исследование

Выводы
Экспериментальное исследование показало, что все три метода обеспечивают точность порядка 70-80%, что является пригодным для практического использования.
Результаты на русскоязычных данных существенно хуже, чем на англоязычных.
Метод, основанный на скрытых марковских моделях наиболее успешно работает для извлечения библиографических ссылок. Следовательно, возможно совместно применять несколько методов с учетом их специализации.

Планы дальнейшего развития
Повышение точности рассмотренных методов машинного обучения за счет учета разметки.
Использование условных случайных полей для устранения недостатков метода скрытых марковских моделей.
Повышение точности за счет совместного использования нескольких методов.
Автоматическое обнаружение возможных ошибок извлечения для передачи на ручную обработку.