Информационный поиск

Каталоги библиотек,
информационные отделы
История ИП (1)
1990-е гг.
Библиотекари,
специалисты по информации
Рядовые пользователи
?

История ИП (2)
Поиск через веб-ссылки (hyperspace)
Нет чёткой модели Веба
Интерес к ИПС
хранилище
знаний и культурных ценностей
∀ м. создать документ
связать с ∀ другим документом

Информационный поиск
(Information retrieval) — это процесс поиска в большой коллекции (хранящейся, как правило, в памяти компьютеров) некоего неструктурированного материала ("обычно — документа), удовлетворяющего информационные потребности

User task – IR system (1)
М.б. трудно выразить словами…
Капустин В. А. Основы поиска информации в Интернете. Методическое пособие. — СПб.: Институт «Открытое общество». Санкт-Петербургское отделение, 1998. — 13 с. http://www.ict.edu.ru/ft/001919/kapustin1.pdf

User task – IR system (2)

Классификация ИПС по масштабу действия
Веб-поиск
Сбор документов
Противодействие SEO
Персональный поиск (personal IR)
Все форматы док-в на комп.
Простота
Ресурсы
Корпоративный (Enterprise), подвед.
(Institutional)
Предметная область (domain-specific)
Центр-я файл-я сист.
Спец-е поиск-е машины
Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011. — ISBN 978-5-8459-1623-5

Baeza-Yates R., Ribeiro-Neto B. Modern Information Retrieval // 1. Introduction. — Addison-Wesley, 1999. — ISBN 0-201-39829-X ftp://mail.im.tku.edu.tw/seke/slide/baeza-yates/chap1_introduction-modern_ir.pdf
Information Retrieval (text) vs. Data Retrieval (RDBMS)
IR –
ранжирование док-в на основе интерпретации содержимого (слово -> цифра)
(релевантность)
Цель IR системы – найти все релевантные документы, и как можно меньше нерелевантных.
Число
документов?

Релевантность (1),
оценка ИПС
Релевантность - степень соответствия документа запросу (инф-й потребности)
Оценка ИПС – эмпирическая:
Текстовые коллекции
Эксперты
Главный указатель полезности поиска?

Релевантность (2)
Удовлетворение пользователя:
0.
Скорость ответа
Размер индекса
Интерфейс (удобство, наглядность, скорость отклика)
Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011. — ISBN 978-5-8459-1623-5

Релевантность (3),
тестовая коллекция
Коллекция документов
Набор тестовых инф-х
потребностей (запросов), min 50
Набор оценок релевантности (обычно бинарные утверждения)
Бинарная классификация: эталонная оценка релевантности асессорами

Стандартные тестовые коллекции
Коллекция Cranfield, 1950-60
1398 аннотаций статей
225 запросов
Оценки рел-ти (запрос-документ)
Text Retrieval Evaluation Conference (TREC). 1992…
1.89 млн док-в
450 инф-х потребностей (topics)
Российский семинар по оценке методов информационного поиска (www.romip.ru). 2003...
Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011. — ISBN 978-5-8459-1623-5

Набор коллекций РОМИП
2010 г.

?
?
Релевантность (4)
Релевантность
Информационная потребность
Запрос

Релевантность (5)
Информационная потребность
Запрос
Правда ли, что красное вино более эффективно снижает риск сердечных приступов, чем белое?
wine AND red AND white AND heart AND attack AND effective

Релевантность (6)
Информационная потребность
Запрос
Правда ли, что красное вино более эффективно снижает риск сердечных приступов, чем белое?
wine AND red AND white AND heart AND attack AND effective
Релевантность - степень соответствия документа …
+ Однословные запросы

User task – IR system
User information need -> Query
Keywords + regular expressions (%, *, _)
Query example: (poorly defined or broad)
гонка
?

гонка
спешка,
торопливость
автогонки, мотогонки
компьютерная игра, автосимулятор
комп. состояние гонки
гонка // Русский Викисловарь, 2012, http://ru.wiktionary.org/wiki/гонка
плоты из брёвен, сплавляемые по реке

User task – IR system
Трудность: нечёткий запрос «гонка»
Автоспорт
Париж-Дакар
Навигация
GPS
Browsing? Сёрфинг? – тоже IR

Pull
Information (Data) Retrieval and Browsing: Pull & Push
ИПС
Гипертекстовые системы. Примеры?
Push
?

новостной агент;
Internet change detection and notification (Google alert - подписка)
спам
Pull
Information (Data) Retrieval and Browsing: Pull & Push
ИПС
Гипертекстовые системы. Примеры?
Push

Представление документа
Весь текст (самое полное предст-е)
список всех слов
Если упрощение, уменьш.
Stopwords, Stemming (Нормализация текста)

Нормализация текста (1): предобработка
Синтез речи
Машинный перевод
Сохранение в базе данных
Сравнение текстов (сортировка, индекс)

Нормализация текста (2):
Этапы
Нормализация юникода
tolower() || toupper()
Digits → words
Удаление ударений, диакритики
Удаление знаков пунктуации
Раскрытие аббревиатур
Удаление стоп слов
Нормализация слов (стемминг)
Канонизация текста (полные синонимы)
"co-operation" → "cooperation",
«чо», «чё» → «что»
"should've" → "should have"
¿Словари
¿Регулярные выражения

Шумовые слова – слишком общие слова (stop words)
Общие
предлоги, союзы, междометия, цифры, частицы (зависят от языка)
Зависимые
Словоформа - слово в узком смысле, то есть обладающая признаками слова цепочка фонем, формально отличающаяся от другой.
Нормализация слова: «фонем» мн.ч., Род. п. -> «фонема» Им.п., ед.ч.
Фонема — минимальная единица звукового строя языка

Нормализация слов (стемминг)
нахождение основы слова для заданного исходного слова (не обязательно «корень»). «Портер»:
A. Лемматизация
Приведение словоформы к
лемме — её нормальной (словарной) форме
Определение POS
Правила
кошками → кошка
бежал → бежать
дутых → дутый
B. Стохастические алг.
вероятность + context

Представление документа
Весь текст (самое полное предст-е)
Список всех слов
Список нормализованных слов
Индекс (слово -> документ)

Представление документа
Baeza-Yates R., Ribeiro-Neto B. Modern Information Retrieval // 1. Introduction. — Addison-Wesley, 1999. — ISBN 0-201-39829-X ftp://mail.im.tku.edu.tw/seke/slide/baeza-yates/chap1_introduction-modern_ir.pdf

Архитектура ИПС (упрощ., обобщ.)
Baeza-Yates R., Ribeiro-Neto B. Modern Information Retrieval // 1. Introduction. — Addison-Wesley, 1999. — ISBN 0-201-39829-X ftp://mail.im.tku.edu.tw/seke/slide/baeza-yates/chap1_introduction-modern_ir.pdf

Литература
Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011. — ISBN 978-5-8459-1623-5. http://rutracker.org/forum/viewtopic.php?t=3887364
Baeza-Yates R., Ribeiro-Neto B. Modern Information Retrieval // 1. Introduction. — Addison-Wesley, 1999. — ISBN 0-201-39829-X ftp://mail.im.tku.edu.tw/seke/slide/baeza-yates/chap1_introduction-modern_ir.pdf
Капустин В. А. Основы поиска информации в Интернете. Методическое пособие. — СПб.: Институт «Открытое общество». Санкт-Петербургское отделение, 1998. — 13 с. http://www.ict.edu.ru/ft/001919/kapustin1.pdf