Источники данных в задачах классификации запросов

Обзор доклада
Что такое классификация запросов?
Типы источников данных
Классификация на примере цитатных запросов
Классификация на примере навигационных запросов

Что такое классификация?
Объединяем в классы запросы, которые имеют определённые признаки. Признаками может быть что угодно:
- тема
- типы
- кластеризация по сессиям
- частотность
- длина
- и т.п.
Запросы разбиваются на классы ради чего-то. Иногда не имеет смысла создавать универсальную модель «ради науки», а следует решать конкретные задачи.

Источники данных
Сами запросы
«Мы все учились понемногу чему-нибудь и как-нибудь» - интуитивно подозреваем, что это цитата. Даже если бы мы не знали этого заведомо.
Внешние данные
«пижама всем» - не зная, что есть такой сайт, трудно представить, что это навигационный запрос. Источники этого знания находятся вне запроса.

Цитатные запросы: обзор
Определяем, что такое для нас цитата
Создаём модель:
- придумываем гипотезы-признаки
- используем machine learning
- убираем неэффективные гипотезы
Оцениваем результаты
Попробуем классифицировать запросы без использования внешних знаний

Цитаты: придумываем гипотезы
Созерцаем:
каравай-каравай кого хочешь выбирай
Не уходи из сна моего. Сейчас ты так хорошо улыбаешься,
эй моряк ты слишком долго плавал
изгиб гитары желтой ты обнимаешь нежно
в поте лица твоего будешь есть хлеб свой
я знаю я буду лететь безумной вспышкой
и снова вижу где-то там вдали, летят с печальным криком журавли
теряю контроль над собой, когда ты улыбаешься Скажи мне, что это всё не сон! Ты мне обязательно должна рассказать, как твоим родителям удалось сделать тебя такой прекрасной. Я тоже хочу попробовать. - Закрой глаза... ой нет открой-открой. Без них темно
ты лети лети лепесток через запад на восток через север через юг ты возвращайся сделав круг
люблю тебя как ангел бога, как любит розу соловей,как мать детя родного любит,а я тебя еще сильней.
Зачем его любить – не знаю, Он не преступник, но и не святой, Плохое в нем я вижу и воспринимаю, Но хочется пожить хоть миг мечтой…
"Ну да! Тебя Чалый сбросит!» – сказала она пренебрежительно
Завтра я еще не умру, но кто его знает
Ты покорил меня и я преклоняюсь. Но со мной ты убил и искусство, принадлежавшее всему миру

Цитаты: придумываем гипотезы
Длина запроса
Наличие знаков препинания
- абсолютное количество
- наличие конкретных знаков препинания (например, троеточие) и их количество
Наличие личных местоимений
Наличие глаголов с определенными морфологическими признаками (например, только финитные формы) и их количество
Наличие определённой лексики: например, вводные слова
«Минус» лексический признак: вряд ли цитаты содержат слова «порно», «bmw» и т.п.
Запрос начинается с большой буквы
Наличие повторяющихся слов
…..

Цитаты: обучаем
Можно посмотреть на информативность каждого признака
Повторяющиеся слова
Местоимения
Троеточие
Капитализация запроса

Цитаты: обучаем

Цитаты: итоговые признаки
Есть ли в запросе личные местоимения
Число слов запроса (2, 3, 4, 5, 6 и больше), не считаем союзы и предлоги
Число знаков препинания в запросе (0, 1, 2 и больше)
Число финитных глаголов (0, 1, 2, 3, 4 и больше )
Есть ли в запросе троеточие
Есть ли в запросе слова из словаря, понижающие вероятность цитаты
Есть ли повторяющиеся слова

Цитаты: оцениваем результаты

Навигационные запросы: обзор
Проблемы
Традиционные источники информации
Навигационные запросы для suggest
Создаём модель:
признак click entropy
лексические признаки запроса
структурные признаки подобранного url
использование переформулировок
Оцениваем результаты

Навигационные запросы: проблемы
Навигационные запросы могут иметь видимые признаки:
- url-like запросы: www.rambler.ru
- специфическая лексика официальный сайт МВД и т.п.
Однако большинство навигационных запросов таковыми признаками не обладают
видеогурман - www.videogurman.ru
жалуйтесь - jaluites.ru
иван царевич - www.ivan-tzarevich.ru
иди сюда - www.idisuda.ru
кто если не я - ktoeslineya.ru
хотим уметь прогнозировать, какой сайт соответствует запросу

Навигационные запросы:
традиционные подходы
Источник информации – клики. Например, сlick distribution
Тексты ссылок: anchorlink distribution
Признаки запроса
- структурные
- лексические
- близость запроса к какому-либо существующему урлу
Для данной задачи хорошо подключить еще одни внешние данные: знания о переформулировках ?повышает полноту и точность
Слишком сложная модель! Упрощаем…

Навигационные запросы:suggest
Важна точность!

Навигационные запросы: модель
Query
url-like
yes
no
special search
click entropy
yes
no
looking for pereformulations
stop
+ query structure
+ query lexical features
+ url structure
OK!

Навигационные запросы: click entropy
Кликовые признаки сильно зависят от качества поисковика. Если нужный результат поиска не попадает в «зону видимости» - то у нас нет статистики по кликам
Часто запросы ведут себя как «навигационные», таковыми не являясь. Частотный случай – запросы по Википедии: шовинизм википедия, президенты сша список
Спам маскируется под нормальные ресурсы: зайцев нет - zajtsev.net
Хорошие результаты поиска могут «размывать» данные

Навигационные запросы:
click entropy + lexical and url_features
click entropy даёт примерно 70% точности – мало!
Добавляем дополнительные признаки к парам
Лексические признаки запроса: слова «сайт», «магазин» и т.п
Близость url и query: пижама всем ->pijamavsem.ru
Признаки подобранного урла в паре
:
- наличие под-домена
- длина пути
- есть ли в урле get-параметры
- и другие

Навигационные запросы: расширяем переформулировками
По пользовательским сессиям объединяем запросы в кластеры, которые
Содержат query в качестве запроса, по которому был клик
Содержат запросы, которые были вместе с query в n-количестве сессий
Имеют общие слова с query
В такие кластеры могли попасть и такие запросы
query = погода гисметео - погода в москве (общее слово погода)
Проводим фильтрацию!

Навигационные запросы: переформулировки + фильтрация
Входные данные:
число таких переформулировок
общие слова (минус география)
среднее число общих слов (чем больше, тем лучше)
макс 2009 официальный сайт - официальный сайт макс 2009
энтропия по url для запросов с такими общими словами Например, большая энтропия по url у слова «зао», т.е. часто является общим словом, значит, оно не значимо и следует внимательно смотреть на совпадение остальных слов
число запросов с общими словами
то же самое для различных слов

Навигационные запросы:результаты

Итого
В задачах классификации выбор данных и модели зависят от задачи
Очень интересные возможности предоставляют «пользовательские» данные
Machine learning нам в помощь