Эволюция алгоритмов Яндекса и методов исследований: новые возможности анализа

Содержание

Слайд 2

Краткое содержание

Индексация рунета (и так уже много страниц – пора выкидывать )
Апдейты

Краткое содержание Индексация рунета (и так уже много страниц – пора выкидывать
(текстовые, ссылочные, гео, т.д. – пересчет параметров)
Взвешивание ссылок (влияют ли ссылки с АГС и баненных сайтов?)
Переформулировки поисковых запросов Яндексом
(расстояния, веса, словоформы, новые операторы, зоны и термы)
Контрастности слов, «веса» (НЕ IDF, три разных базы – три веса)
Численные значения релевантности - предварительные итоги
(учет ДМОЗ, классы запросов, рел-ть группы и элемента разные)

Слайд 3

Я: Что интересного за год:

Почти ровно год назад, сентябрь 2009 – выстрелил

Я: Что интересного за год: Почти ровно год назад, сентябрь 2009 –
фильтр АГС-17
Осень 2009 – алгоритм обучения формулы ранжирования Matrixnet
– оператор «минус» стал применяться к текстам ссылок, теперь не находит НПС
- отмена неранжирующего И (<<), изменения в языке запросов
*** не особо известное:
Лето-Осень 2009 – отмена показа числа страниц «еще с сайта». Число страниц в «еще с сайта» сейчас отличается от общего. Имхо = введение «яндекс-соплей», летом была перезагрузка.
Яндекс занимается экстракцией фактов в большом поиске - новые поисковые зоны документа и термы, которые соответствуют ФИО

Слайд 4

Я: число документов в индексе

Число документов (сумма по дням индексации за последние

Я: число документов в индексе Число документов (сумма по дням индексации за
3 месяца)
уменьшилось за год в 4-5 раз (было 4500М, стало 800М)

Слайд 5

Я: скорость индексации Рунета

Скорость переиндексации рунета уменьшилась за год в три раза:
Было

Я: скорость индексации Рунета Скорость переиндексации рунета уменьшилась за год в три
~50-60 дней, стало ~150-170 дней
Метод: операторами дат ищем число документов за интервалы и взвешиваем число документов по дате (ищем «центр масс»)

Слайд 6

2. Апдейты Яндекса:

русский и западный индексы

Выкладывание новых проиндексированных страниц, появление в поиске

2. Апдейты Яндекса: русский и западный индексы Выкладывание новых проиндексированных страниц, появление
текстов страниц.
Метод: увеличение числа страниц и сайтов поиском date:YYYYMMDD
Как отличаем русский от западного: lang:ru (uk) и lang:en (de, fr)
Обычно западный индекс апдейтится раньше.
Примерное время: около часа ночи, раз в 3 дня
Апометр Дениса Иванова – упорядочение по дате.
Быстроробот мешает.
Важно:
новые страницы и обновления старых не видны раньше апдейта

Слайд 7

Апдейты Яндекса:

сохраненной копии (метод komdir)

Выкладывание новой сохраненной копии происходит чуть раньше.
На ~10-15

Апдейты Яндекса: сохраненной копии (метод komdir) Выкладывание новой сохраненной копии происходит чуть
минут раньше.
Проблемы: иногда сохраненная копия берется «на лету» и кажется слишком свежей.
Редко, но бывает: обновляется на день позже.
Важно:
Проверка ссылок в сохраненных копиях страниц не даст эффекта, если ее обновления не произошло.

Слайд 8

Апдейты Яндекса: ссылочные

новые ссылки в анкор-файле

Обновление анкор-файла, учет новых проиндексированных ссылок.
Метод:
поиск

Апдейты Яндекса: ссылочные новые ссылки в анкор-файле Обновление анкор-файла, учет новых проиндексированных
свежих не-быстророботных-НПС «найденных по ссылке»
Экспериментальные сайты и быстроиндексируемые ссылки, время взятия ссылки роботом написано сразу в НПС
Время: около 4-5 утра
Частота – в последние дни каждый текстовый апдейт, раньше – раз в три недели.
*** важно:
пересчет «веса» ссылок может происходить независимо от обновления анкор-файла.

Слайд 9

Апдейты Яндекса: гео

Изменение числа геопривязанных сайтов

Число сайтов и страниц, найденных с ограничением

Апдейты Яндекса: гео Изменение числа геопривязанных сайтов Число сайтов и страниц, найденных
по региону меняется резко и не всегда по всем регионам.
Метод: поиск c ограничением по регионам &rstr=-213 (11 регионов) и с ограничением по хостам для уменьшения числа найденных сайтов.
Число сайтов и страниц не только увеличивается, но и уменьшается.
Время: около 5 утра, но иногда и в середине и в конце дня.
За половину изменений выдачи без выкладывания текстового индекса
отвечают в том числе и они.

Слайд 10

Апов нет, а выдача изменилась?

Апов нет, а выдача изменилась?

Слайд 11

= обновление формулы? …или многое другое: например, пересчет весов ссылок?

Есть запросы, где в результатах

= обновление формулы? …или многое другое: например, пересчет весов ссылок? Есть запросы,
много НПС
Положение НПС относительно друг друга меняется около 4 утра и без ссылочных апдейтов.
Видимо, это пересчет вИЦ и релевантности ссылок
… это был анонс по сервису http://tools.promosite.ru/
А значат ли позиции НПС хоть что-нибудь?

Слайд 12

3. НПС и взвешивание ссылок

…кстати - суфийская притча о слоне

Анализ не полной

3. НПС и взвешивание ссылок …кстати - суфийская притча о слоне Анализ
выдачи, а топа = ощупывание слона слепцом.
Ищем маленькие выдачи, которые можно ощупать полностью.
У меня таких 250К (500-1000 сайтов) из которых 30К (900-1000 сайтов)

Слайд 13

Сначала было слово…

…а потом – ошибка кодировки

Приведена полная выдача (X) и отмечены

Сначала было слово… …а потом – ошибка кодировки Приведена полная выдача (X)
НПС-результаты (Y)
Запрос – секретный, но картина стандартная. ☺
В конце выдачи подряд идут «плохие» НПС.

Слайд 14

Как применить?

1 вывод: баненные и/или АГСные доноры не работают.
…а если и летают,

Как применить? 1 вывод: баненные и/или АГСные доноры не работают. …а если
то очень-очень низко. В хвосте.
Не можем найти ссылающиеся сайты-доноры для НПС из хвоста выдачи – они все под АГС или в бане.
2 вывод: построение сетки для сравнения качества доноров.
Берем НПС чуть выше «плохих» - вот маркер для поиска мусора.
Разбиваем выдачу выше на фрагменты – вот сетка для перехода к количественному измерению.
… дело за малым – найти НПС по ссылкодонорам.

Слайд 15

4. Переформулировки поисковых запросов

Лето 2008 – введены переформулировки запросов:
Теперь поиск Яндекса (версия

4. Переформулировки поисковых запросов Лето 2008 – введены переформулировки запросов: Теперь поиск
"Магадан") еще учитывает следующие отношения:
а) некоторые типы переходов из одной части речи в другую ("гамбург" -> "гамбургский");
б) транслитерация ("mazda" -> "мазда");
в) аббревиатуры (МГУ -> Московский государственный университет).
Примерно в то же время отменен показ «переколдовки» и существенное увеличение граничных расстояний (поиск соседних слов в пределах документа)
С помощью добавления некоторого вида слов и операторов в XML можно получить информацию о переформулированном запросе, который, вероятно, отрабатывает вместо введенного.
в архиве их много.
Все так, как и обещалось – большие расстояния или ограничения расстояний, новые части речи, новые операторы и термы.

Слайд 16

Пример переформулировки: продвижение сайтов => становится: (продвижение::19047 ^ ((про::2793-движение::8030)) ^ продвигать::40288 ^ продвигаться::199208) &&/(-32768 32768) сайтов::410

Новые части речи, транслит,

Пример переформулировки: продвижение сайтов => становится: (продвижение::19047 ^ ((про::2793-движение::8030)) ^ продвигать::40288 ^
аббревиатуры
Большие расстояния
«двоеточечные» веса
Оператор ^ (терм не обязан присутствовать, но если есть, это плюс)
Точные фразы и ограничения расстояний
Почему-то возвратные глаголы тоже отдельно

Слайд 17

ограничения расстояний

очень «короткие» и очень «длинные»

анализ финансового состояния предприятия
анализ::8714 &/(-1 1) финансового::6288

ограничения расстояний очень «короткие» и очень «длинные» анализ финансового состояния предприятия анализ::8714
&/(-1 1) состояния::5054
&&/(-7 7) предприятия::3492
дизайны комнат нижний новгород
дизайны::4379 &&/(-7 7) комнат::6878 &&/(-7 7) нижний::8101 &&/(-7 7) новгород::10583
5800 nokia
5800::248895 &/(-3 3) nokia::12493
партия единая россия
(партия::10385 &&/(-32768 32768) ((единая::10481 &/(-1 3) россия::827) ^ ер::234393) ^ !!едро::2480323) ^ !!педирос::492344160

Слайд 18

разбиение на фрагменты

И склейка фрагментов

downloadmanager
downloadmanager::27273214 ^ ((download::1501-manager::7788))
z11xrn (модель ноутбука)
z11xrn::709103565 ^ (!(z::3403 &/(1

разбиение на фрагменты И склейка фрагментов downloadmanager downloadmanager::27273214 ^ ((download::1501-manager::7788)) z11xrn (модель
1) 11::672 &/(1 1) xrn::39394642)) ^ ((z11::1975218 &/(1 1) !xrn::39394642))
ps 3
(ps::19277 &/(-1 1) 3::229) | ps3::56914
переводчик онлайн
(переводчик::30986 ^ перевод::7100) &&/(-32768 32768) (онлайн::2124 ^ online::3661 ^ ((он::301-лайн::28714)))

Слайд 19

«двоеточечные» веса

Веса слов разные по трем коллекциям

По каждому слову есть двоеточечный вес,

«двоеточечные» веса Веса слов разные по трем коллекциям По каждому слову есть
и слова в запросах часто повторяются.
У одного и того же слова может быть несколько разных весов для разных запросах!
Есть три коллекции документов, по каждой считается свой вес.
Русская (запрос с русскими словами)
Англоязычная (запрос весь из цифр и английских букв)
Украинская (пример: музика скачати безкоштовно)
Одно и то же слово может обладать разной контрастностью для разных баз. Разное число документов, разная популярность слов.

Слайд 20

ФИО – новые зоны и термы

Ахтунг!!! Экстракция сущностей в большом поиске!

Для запросов,

ФИО – новые зоны и термы Ахтунг!!! Экстракция сущностей в большом поиске!
содержащих имена в виде 2+ слов
иосиф бродский
Переформулируется с фрагментом
*** (
fioname[((иосифfi::178320 &&/(-32768 32768) !!бродский::358329))] |
fiinname[((иfi::3277 &&/(-32768 32768) !!бродский::358329))] |
fiinoinname[((иfi::3277 &&/(-32768 32768) !!бродский::358329))] | finame[((иосифfi::178320 &&/(-32768 32768) !!бродский::358329))]
)
Новые операторы (новые зоны?) соответствующие поиску по имени
Новые термы (иfi) – поиск всех имен на букву «И» и сокращений

Слайд 21

мfi – все имена на букву М

экстракция объектов из текста…

мfi – все имена на букву М экстракция объектов из текста…

Слайд 22

4.5 Какая польза?

Раньше мы знали про переформулировки, но теперь очевидно, что переформулировка

4.5 Какая польза? Раньше мы знали про переформулировки, но теперь очевидно, что
производится на уровне исходного запроса
Поэтому «дополнительные» слова обязаны давать вклад в релевантность, это не просто подсветка.
Новые операторы (^, fio* и другие)
Использование доп. слов при оптимизации и в ссылках
Знания об ограничении расстояний в переколдовке – необходимы!
Веса слов тоже полезны
Возможно, это будет внедрено в сервис http://tools.promosite.ru/

Слайд 23

А экстракция сущностей в большом поиске - это мощные изменения…

И ведь без микроформатов

А экстракция сущностей в большом поиске - это мощные изменения… И ведь без микроформатов и разметки…
и разметки…

Слайд 24

5. Контрастности (веса) слов

::вес – это НЕ IDF (классический)

IDF (inverse document frequency

5. Контрастности (веса) слов ::вес – это НЕ IDF (классический) IDF (inverse
— обратная частота документа)
А как выглядят набор ::весов –дискретный набор, являются целочисленными дробями от максимального веса.
По куску коллекции ---
Догадываемся - ::вес=D/Di
Это отношение числа документов.
Чтобы получить IDF, берем логарифм:
=> IDF=log(::вес)

Слайд 25

::веса -не документные?

А от словоформ? Не IDF, а ICF?

::веса -не документные? А от словоформ? Не IDF, а ICF?

Слайд 26

6. Тестовый ХML

Лето 2010: http://xml.yandex.ru/test_query.xml



106678464

6. Тестовый ХML Лето 2010: http://xml.yandex.ru/test_query.xml 106678464 106678464 http://www.detskaya-poliklinika.ru/ www.detskaya-poliklinika.ru rus 0.047059
id="13-6-15-ZEBD96DEF8527C4F3">
106678464
http://www.detskaya-poliklinika.ru/
www.detskaya-poliklinika.ru

rus
<_Factor_DocLen>0.047059
<_HeadlineSrc>dmoz
<_HilitedUrl>www.detskaya-poliklinika.ru
<_UrlMenu>[["medinfa.ru/", "medinfa.ru"], ["medinfa.ru/polyclinic/", "Поликлиники Москвы"], ["", "detskye_policliniky"]]
title="Детская поликлиника Медэп" ;desc=Медицинские программы. Онлайн-консультации специалистов. Контакты. ;screenshot=http%3A%2F%2Fcards2.yandex.net%2Fcat-get%2F4103%2F6e099396ce8211de996dc1afc15d2acd.png ;
47784
213
213
ru

Слайд 27

Что показывалось:

106678464
-числовые значения релевантности группы в целом и элемента
Релевантность группы и

Что показывалось: 106678464 -числовые значения релевантности группы в целом и элемента Релевантность
первого эл-та не всегда совпадают!!!
213 - ID регионов
213 - ID регионов (автоматическое?)
47784 - яндексовый ID группы аффилиатов
<_HeadlineSrc>dmoz - описание взято из DMOZ (?)
<_UrlMenu> или - «быстрые ссылки» (?)
- параметры описания сайта из Я.Каталога
<_Factor_DocLen> - нормированная длина документа вида N/255

Слайд 28

Что удалось взять:

топ-1000 по 42К запросов (seorate+частотные)

В сумме:
2.5М разных хостов (отдельно 2М

Что удалось взять: топ-1000 по 42К запросов (seorate+частотные) В сумме: 2.5М разных
из выдач+650К ссылкодоноров)
записей про клоны 234К, хостов с клонами 185К (7.4% хостов)
записей про geo 396К, хостов с приписанным geo 360К (14.4% хостов с geo)
записей про автоматическое гео 1.6М, хостов с приписанным geoa 1.54М (62% хостов с geoa)
Взята география по всем ссылкодонорам.
Видимо, определение клонов автоматическое.

Слайд 29

Аффилировалка - автомат?

http://tools.promosite.ru/use/clones.php

Что наводит на мысль об автоматическом определении клонов:
Очень много хостов

Аффилировалка - автомат? http://tools.promosite.ru/use/clones.php Что наводит на мысль об автоматическом определении клонов:
с клонами (7.4%) – вручную не осилить.
Очень крупные группы клонов на субдоменах ucoz.ru, co.cc, …
Частенько аффилируются сайты с полностью разным контентом.
Методы подтверждения аффилиатов:
В XML с группировкой по хосту: host:site1.ru | host:site2.ru
В выдаче проверяем 1-2 места: site1.ru | site2.ru
В сказки про то, что Яндекс не борется, мы уже не верим…
Метод определения клонов через оператор domain перестал быть удобным после того, как работу оператора специально искривили.

Слайд 30

Цифры релевантности

400111552

Очень похожи на моделирование оценок асессоров (0-4)*100М
4xx М – витальные результаты
3хх

Цифры релевантности 400111552 Очень похожи на моделирование оценок асессоров (0-4)*100М 4xx М
М – почти витальный ответ на поиск domain.ru
2хх М – по отдельным странным запросам (некоммерческим?)
1хх М – самая массовая группа
[1-9]х М – не очень релевантные документы

Слайд 31

4xx М – витальные результаты

Есть по 4.5К запросам из 42К (11%)

Много действительно
витальных:
Но

4xx М – витальные результаты Есть по 4.5К запросам из 42К (11%)
есть и сомнительные:
Без ручной правки не обошлось, хотя запросов много…

Слайд 32

3xx М – поиск домена

Некоторым очень везет…

3xx М – поиск домена Некоторым очень везет…

Слайд 33

2xx М –странные запросы

1.2К запросов вся выдача из 2хх

глисты
трихомонада
язва
диатез
погрузчик
инвестиционный проект это
прямые инвестиции

2xx М –странные запросы 1.2К запросов вся выдача из 2хх глисты трихомонада
это
андеррайтинг это
газель
индекс доу джонса
беременные
александр головин
джинсы
клещи
кира пластинина

Слайд 34

1xx М – все остальное

1xx М – все остальное

Слайд 35

1xx М - поиграемся

Степенной закон, чо…

1xx М - поиграемся Степенной закон, чо…

Слайд 36

[1-9]x М - поражены в правах?

Дублирование контента?

Как правило, заспамленные тематики, но

[1-9]x М - поражены в правах? Дублирование контента? Как правило, заспамленные тематики,
могут быть приличные сайты
Позиции: очень глубоко. Предположительно, дублирование контента.
Имя файла: Эволюция-алгоритмов-Яндекса-и-методов-исследований:-новые-возможности-анализа.pptx
Количество просмотров: 117
Количество скачиваний: 0