Обучение классификаторов на основе выделения фрагментов

Задачи выделения фрагментов
Задача поиска фрагментов релевантных запросу (Passage Retrieval)
вычисление весов фрагментов
вычисление функции правдоподобия запроса
построение вероятностных моделей запросов
использование методов машинного обучения
использование скрытых марковских моделей
Задача классификации фрагментов в соответствии с классификатором (Passage Recognition)
обучение на полных текстах , выделение фрагментов, классификация фрагментов
классификация текста целиком, поиск наиболее релевантного фрагмента
оценивание параметров скрытой марковской модели на полных текстах, выделение фрагментов

Методы классификации текстов
Метод машин опорных векторов (SVM) – рубрика отделяется от других классов с помощью гиперплоскости
Байесовский классификатор на основе модели смеси распределений фон Мизеса-Фишера (VMF) – рубрика описывается с помощью точки на гиперсфере единичного радиуса

Модель фон Мизеса-Фишера

Методы выделения фрагментов в текстах
Выделение фрагментов путем классификации предложений (SENT)
Выделение фрагментов путем классификации блоков текста (TILE)
Выделение фрагментов путем классификации иерархического покрытия (HIER)
Выделение фрагментов с использованием оптимизационных методов (LS)

Выделение фрагментов путем классификации блоков текста

Выделение фрагментов путем классификации иерархического покрытия

Выделение фрагментов с использованием оптимизационных методов

Схема итерационного обучения отдельной рубрики
Исходный массив
Обучение
модели
Выделение фрагментов
фрагмент

Схема классификации текстов с использованием фрагментов
Текст
Выделение фрагментов
Текст
фрагмент
фрагмент
Построение вектора признаков
фрагмент
фрагмент
Классификация

Характеристики массивов текстов
Полные массивы
Сокращенные массивы текстов

Пример текста из массива 20NG

Пример текста из массива Reuters-21578

Пример текста из массива
ROMIP 2004 Legal

Оценка качества классификации для массива ROMIP 2004 Legal Mini

Оценка точности и полноты классификации
20 News Group Mini
Romip 2004 Legal Mini

Качество классификации для массива
20 NG от размера обучающего множества

Качество классификации для массива Reuters-21578-10 от размера обучающего множества

Качество классификации для массива
20 NG от числа итераций

Время обучения и классификации массива 20 NG от числа итераций

Среднее число выделяемых предложений для массива 20 NG
в зависимости от числа итераций

Выводы
Обучения классификаторов с использованием фрагментов более эффективно при маленьких размерах обучающих выборок
В некоторых случаях использование данного метода может заметно улучшить полноту классификации
Для сходимости метода достаточно выполнения нескольких итераций