Кластерная индексация файлов для оптимизации поиска информации в распределенной файловой системе

Актуальность:
Высокие темпы роста объема текстовой информации
Накопление неклассифицированных данных в распределенной структуре
Отсутствие возможности оптимального смыслового определения архитектуры классов
Необходимость в высококачественном и быстром поиске по большому массиву документов
02 / 24

Цель:
Целью работы является разработка метода эффективного поиска текстовой информации в распределенной файловой системе с высокой производительностью и качеством при малых ресурсных затратах приложения
03 / 24

Общая архитектура
04 / 24

Выборка:
Иерархическая структурированная библиотека открытая для скачивания объемом 21гб
05 / 24

Сбор и очистка данных:
Данные
Полученные очищенные слова данные отравляются
На формирование входного вектора
06 / 24

Формирование входного вектора для кластеризатора
07 / 24

Существующие подходы к кластеризации:
08 / 24

Существующие подходы к индексации
09 / 24

Обоснование выбранного решение:
Устойчивость к шумам
Скорость
Точность
Адаптивность
Отсутствие необходимости в эвристиках
SOINN
10 / 24

Формирование структуры
кластеров
11 / 24

Индексация
Каждому кластеру присваивается уникальный индекс в порядке вложенности
Пределом кластеризации является сведение к один кластер это один файл и таким образом можно определить вложенность кластеров как уникальный HASH
12 / 24

Пример иерархической индексированной кластерной структуры файлов
По окончанию иерархической кластеризации каждый файл отделяется в отдельный персональный кластер
(исключение: файлы дубликаты/копии)
Индекс файла со звездочкой: 0001000300020002
13 / 24

Пример вида метаинформации в документе
14 / 24

Пример сохраненной
метаинформации в текстовом файле
15 / 24

Поиск
16 / 24

Имплементация:
17 / 24

Визуальный интерфейс
18/ 24

Поисковый запрос
19 / 24

Расширение поискового запроса
20 / 24

Экран настроек
21 / 24

Анализ эффективности:
400мб
1,5гб
7 мс
18 мс
21гб
19 мс
23 мс
22 / 24

Сравнительная характеристика алгоритмов поиска
23 / 24