Часть 2 Технология поиска информации в Интернете Слайд-лекция

С момента появления Интернета, объёмы информации, хранящейся во Всемирной Паутине растут "не по дням, а по часам". Каждый день в Сети появляются десятки тысяч новых сайтов, а количество новых страниц исчисляется миллионами, и это - ежедневно! Естественно, у пользователей возникает вполне закономерный вопрос: "Как найти нужные данные в этом безграничном океане информации?". И не только найти, но и отсеять из большого количества полученных результатов ненужные, чтобы получить в итоге только то, что и требовалось. На нашем уроке попытаемся изучить самые азы сетевого поиска.

Поиск по адресам URL
Самый быстрый и надежный вид поиска информации в Интернете - поиск по адресам URL (Universal Resours Locator – универсальный указатель ресурса).
Многие из них приводятся в печатных изданиях, специальных справочниках, звучат в эфире популярных радиостанций и с экранов телевизора.
Поклонникам группы «Король и шут» хорошо известен официальный сайт этой группы www.korol.spd.ru.
Любители телеканала НТВ без труда найдут его сайт по адресу www.ntv.ru.
Для быстрого доступа к вышеназванным ресурсам достаточно запустить программу-браузер, например Internet Explorer, и набрать знакомый адрес URL в строке адреса.

Поисковые системы
В Интернете сосредоточено огромное количество документов. Чтобы облегчить поиск нужной информации, создаются специальные поисковые машины.
Поисковые машины - это автоматические системы, опрашивающие серверы, подключенные к глобальной сети, и сохраняющие в своей базе информацию об имеющихся на серверах данных.
По специальным образом сформулированному запросу поискoвые машины предоставляют информацию о том, где можно получить необходимые данные.

Поисковые машины состоят из трех частей: робота, индекса и программы обработки запроса
Робот (Spider, Robot или Bot) - это программа, которая посещает веб-страницы и считывает (полностью или частично) их содержимое. Роботы поисковых систем различаются индивидуальной схемой анализа содержимого веб-страницы.
Индекс - это хранилище данных, в котором сосредоточены копии всех посещенных роботами страниц. Индексы в каждой поисковой системе различаются по объему и способу организации хранимой информации. Базы данных ведущих поисковых машин хранят сведения о десятках миллионов документов, а объемы их индекса составляют сотни гигабайт. Индексы периодически обновляются и дополняются, поэтому результаты работы одной поисковой машины с одним и тем же запросом могут различаться, если поиск производился в разное время.

Программа обработки запроса - это программа, которая в соответствии с запросом пользователя «просматривает» индекc на предмет наличия нужной информации и возвращает ссылки на найденные документы. Множество ссылок на выходе системы распределяется программой в порядке убывания релевантности, то есть от наибольшей степени соответствия ссылки запросу к наименьшей.

Насыщенность Интернета Web – документами огромна. Поиск необходимой информации – основная проблема службы WWW. Она решается с помощью технологии гиперссылок. Существуют специальные Web – узлы, которые называют поисковыми системами или поисковыми каталогами. Например:

Поисковые машины различаются по охвату информационных ресурсов:
Поисковые машины общей тематики имеют базу данных по всем направлениям знаний и отличаются обширным индексом и большим объемом накапливаемой информации;
Поисковые машины специального назначения просматривают только сайты по определенной тематике, например музыкальные или музейные.

Основные характеристики поисковых машин:
объем документов в индексе;
частота обновления информации;
информационное пространство, которое охватывает робот поисковой машины, и разнообразие типов документов, о которых собирается информация;
скорость обработки запроса;
критерий определения релевантности (соответствия найденного документа поисковому запросу);
возможность детализации и уточнения запроса.

Поиск по рубрикатору поисковой системы
Поисковые каталоги представляют собой систематизированную коллекцию (подборку) ссылок на другие ресурсы Интернета. Ссылки организованы в виде тематического рубрикатора, представляющего собой иерархическую структуру, перемещаясь по которой, можно найти нужную информацию.

РУБРИКАТОРЫ

Предположим, вы собираетесь приобрести мобильный телефон и хотите сравнить характеристики аппаратов разных фирм. Поиск мог бы вестись по следующим рубрикам каталога:
Яндекс > Каталог > Компьютеры и связь > Мобильная связь > Мобильные телефоны.
Получив ограниченное количество ссылок, можно достаточно оперативно их просмотреть и выбрать телефон, исследовав характеристики по фирмам и модификациям аппаратов.
Рассмотрим пример

Поиск по ключевым словам
Большинство поисковых машин имеют возможность поиска по ключевым словам. Это один из самых распространенных видов поиска. Для поиска по ключевым словам необходимо ввести в специальном окне слово или несколько слов, которые следует искать, и щелкнуть на кнопке Поиск. Поисковая система найдет в своей базе и покажет документы, содержащие эти слова.
Для того чтобы сделать поиск более продуктивным, во всех поисковых системах существует специальный язык формирования запросов со своим синтаксисом.

Если ввести в любом поисковике слова «интернет-журнал» или «интернет-газета», он выдаст ссылки на сайты нескольких тысяч журналов и газет. На страницах с результатами поиска, по описанию, нужно выбрать заинтересовавшее издание и перейти на его сайт.
Довольно часто на сайте издания, можно подписаться на получение выпусков этого журнала или газеты на свой электронный адрес. И если сам выпуск журнала или газеты по электронной почте, из-за довольно большого объема, как правило, не высылается, то в пришедшем письме обязательно будет ссылка на его скачивание. Можно скачать журнал или газету, и спокойно и неторопливо изучать его содержание.
Интернет-журналы и Интернет-газеты

Это специальные сайты, на которых собраны ссылки на большое количество Интернет-ресурсов. В этих каталогах сайты располагаются по тематическим категориям, а категории, довольно часто, еще разбиты на разделы. Есть Интернет-каталоги, в которые заносятся сайты любой тематики. Например, от сайтов любителей рыбной ловли, до сайтов по изучению программирования и сайтостроения. Имеются и более узкотематические каталоги, такие например, как только на автомобильную или строительную темы. Есть каталоги только для женщин или для студентов.
Веб-каталоги хороши для поиска сайтов по определенной тематике. Таких каталогов в Интернете несколько тысяч. Опять же, с помощью поисковой системы, нужно найти и выбрать нужный каталог, а уже в нем и нужный сайт. Переходя по категориям и разделам каталога, можно выбирать то, что в данный момент интересует.
Интернет-каталоги

Интернет-форум, это то место, где можно найти ответ на практически любой конкретный и точный вопрос. Ведь форум, это сообщество увлеченных людей объединенных какой-либо конкретно обсуждаемой темой. На странице выдачи по вашему запросу в поисковой системе обязательно будут и ссылки на страницы форумов, где данный вопрос обсуждается. Следует просто пройти по ссылке и посмотреть, какие темы обсуждаются на данном форуме.
Если ответа на интересующий в данный момент вопрос не найден, то нужно зарегистрироваться, и тогда будет можно оставить свой вопрос на форуме и, как правило, обязательно найдется тот, кто знает на него ответ и обязательно поможет.
Форумы

Одним из популярных способов поиска информации являются блоги. В большинстве своем, блоги — это личные дневники пользователей, посвященные какой-либо темы. Соответственно, все интересующие статьи вместо того, чтобы искать по всему Интернету, могут быть найдены в блогах. Для этого просто надо зайти на сервис блогов и отыскать нужную тему для просмотра.
Популярные сервисы блогов:
liveinternet.ru — сервис LiveInternet
livejournal.com — сервис LiveJournal
blogs.mail.ru — сервис Mail.ru
diary.ru — сервис Diary.ru
Блоги

Часть 3
Поисковая система Яндекс
Слайд-лекция

Почему именно Яндекс?
Яндекс – информационный портал, предлагающий, кроме поиска, множество полезных услуг.
Вот некоторые из сервисов Яндекса:
Яндекс.Каталог,
Яндекс.Новости,
Яндекс.Города,
Яндекс.Энциклопедии.

Яндекс www.yandex.ru

Яндекс www.yandex.ru
1
2
3
4
5
Главная страница Яндекса содержит довольно много полезных ссылок. Рассмотрим ее сверху вниз:
Ссылка делает Яндекс стартовой страницей браузера.
Помощь по поиску и работе в Яндексе.
Настройка ПС под конкретного пользователя.
Регистрация в службе бесплатных E-mail.
Вход в службу бесплатных E-mail.

6
7
8
6. Объявления Яндекса о собственных службах и проектах.
7. Ссылка на страницу главную страницу проекта Яндекс.Новости с указанием времени последнего индексирования новостных сообщений.
8. Ссылки на конкретные новостные сюжеты. При этом данный список – это рейтинг текущих новостей.

10
9
9. Поле для ввода запроса. Ниже указан пример запроса в виде ссылки. Вы можете посмотреть результат этого запроса.
10. Кнопка «Найти!» активизирует запрос. По умолчанию запрос активизируется нажатием Enter на клавиатуре.

11
11. Информационные сегменты интернета, где необходимо произвести поиск: «Везде» - поиск во всем интернете; «Новости»; «Маркет» - поиск товаров среди предложений фирм и интернет-магазинов; «Адреса» (сродни «Желтым страницам»); «Словари»; «Блоги» - поиск в сетевых дневниках; «Картинки» - поиск картинок.
12
12. Вы можете обратиться ко всем службам Яндекса по этой ссылке…
13
13. Вы можете использовать возможности расширенного поиска для эффективной работы в Яндексе.

Все службы Яндекса

14
15
14. Разделы каталога Яндекса. Под ссылками на раздел указаны подразделы.
15. Яндекс автоматически определяет, из какого региона поступил запрос и указывает регион, дату, день недели и прогноз погоды в данном регионе.

16
16. Службы Яндекса.
17. Котировки валют.
18. Инструмент «Русская клавиатура» для компьютеров с операционной системой без русской раскладки.
19. Статистика ПС Яндекс.
17
18
19

Расширенный поиск
Яндекса

1. Поле для ввода запроса. Ниже – подсказка использовать знак «-» для исключения слова.
Блок «Искомые слова» уточняет параметры слов:
2. Расположение слов относительно друг друга,
3. Расположение слов на странице,
4. Морфологическую форму слов.
Вы можете создавать сложные запросы, не используя языка запроса и специальных операторов!
1
4
2
3

2. Расположение слов относительно друг друга:
Подряд - слова идут в том же порядке, как и в запросе.
В одном предложении - слова запроса встречаются в одном предложении.
Не очень далеко - на расстоянии в несколько предложений.
На одной странице - слова запроса должны встретиться в одном документе (по умолчанию).

3. Расположение слов на странице:
В теле – поиск слов идет в тексте страницы.
В заголовке – поиск ведется в заголовке страницы.
Это то поле, которое отображается в заголовке браузера.
В ссылках – поиск идет в тексте ссылок, которые встречаются на данной странице.

4. Морфологическая форма слов:
В любой форме – аналогично действиям Яндекса по умолчанию, то есть будут учитываться все морфологические изменения слова.
Точно так же, как в запросе – слово будет искаться только в той форме, которую вы указали.

5. Язык (доступно 6: русский, английский, немецкий, французский, украинский, белорусский) Если вам интересны несколько языков, удерживая клавишу Shift, выберите нужные.
6. Дату документа (последние 2 недели, последний месяц, 3 месяца, год, а также любой диапазон). Не все серверы выдают правильную дату документа; поэтому, ограничивая документы датами, вы сужаете область поиска.
5
Блок «Страницы» уточняет параметры документа:
6

У ПС Яндекс намного более гибкий поиск по дате:
Google предлагает всего 4 варианта даты (любое время, 3, 6, 12 мес.), а в
Яндексе можно указать диапазон, что позволяет использовать любые варианты!

7. Формат документа (HTML, PDF, RTF, DOC, XLS, PPT, SWF).
Ограничение по формату полезно, когда вы ищете научные статьи или
7
инструкции — подобные документы редко выкладываются в HTML из-за большого
количества формул и графики.

В нижней части страницы расширенного поиска:
8. Укажите, какую ссылку должен содержать искомый документ.
Этой возможностью удобно пользоваться при поиске близких по теме
документов. Или в случае, когда хотите узнать, кто еще, кроме Вас,
заинтересовался неким документом и сделал ссылку на него.
8

9. Поиск по определенному сайту. Укажите адрес сайта и Яндекс произведет поиск исключительно по его документам.
10. Поиск похожих документов. Укажите адрес страницы-образца.
11. Поиск на сайтах региона. Яндекс будет производить поиск на сайтах определенного региона.
11
9
10

Поиск на сайтах региона не включит в выборку сайты, которые физически
находятся в другом регионе. Хотя они и содержат информацию о регионе
или это сайты предприятий и организаций региона.
Так, например, сайты, располагающиеся на сервисах бесплатного хостинга
могут не попасть в результаты поиска.

12. Количество результатов поиска, которые отобразятся на странице. При невысокой скорости соединения не рекомендуется выводить более 10 ссылок.
13. В интерактивном поле «Итого» вы сразу сможете увидеть сформированный Вами запрос и скорректировать его. Кнопка «Найти» активирует поиск (можно нажать Enter на клавиатуре).
13
12

Зададим поиск: нам необходимо найти не самую старую информацию о
деятельности министра природных ресурсов Юрия Трутнева, связанной с
Пермью, но не Москвой.
Воспользуемся готовым запросом:
Трутнев Пермь «министр природных ресурсов» -Москва
и добавим несколько дополнительных параметров…

Как видно, в интерактивном поле «Итого» появилась формулировка нашего
запроса в естественном виде. Все параметры, которые мы отметили,
указаны один за другим.
После проверки правильности всех параметров можно активировать поиск.

Обратите внимание, что в результатах поиска Яндекс формализовал наш
естественный запрос:
!(Трутнев Пермь "министр природных ресурсов" -Москва)
Оператор «!» означает точную морфологическую форму, скобки определяют
к каким словам относится оператор «!».
Кавычки указывают на поиск точной цитаты.
Оператор «-» отсеивает из результатов поиска слово.
Использование оператора «!» (указание на точную форму слов) значительно
уменьшило результат поиска

Страница результатов поиска
Рассмотрим типичную страницу результатов поиска.
Используем запрос «биография Юрия Трутнева».
Хотя результаты запроса очевидны, обратим внимание на строение страницы…

1. Вход в службу бесплатных E-mail.
2. Ссылка «Помощь» ведет на описание возможностей поиска. По ссылке
«Настройка поиска», вы сможете изменить вид страницы с результатами поиска по
своему вкусу, включить семейный поиск и отключить показ графической рекламы.
3. Поле для ввода запроса с текущим запросом.
Страница результатов поиска Яндекса
1
2
3

4. Вы можете сузить область поиска, отметив флажок «в найденном» - это
активирует дополнительный поиск в найденных документах;
Вы можете выбрать поиск на сайтах Уральского региона, отметив флажок
«в регионе: Урал».
4

4. Под формой поиска могут появляться другие флажки:
«адрес сайта» - если Вы искали по определенному сайту, рядом с
поисковой формой появляется напоминание, что результаты получены
поиском по одному сайту. Если вы хотите продолжить поиск по всем
сайтам, достаточно перед очередным запросом снять флажок;
«выбор диапазона дат» - задав временной интервал, к которому должны относиться искомые документы, вы можете затем его исправить в результатах поиска, введя новые числа в формате «День-Месяц-Год».
4

5. Параллельные поиски: Яндекс умеет искать не только сайты, но и новости,
товары, картинки и т.д.
Когда вы задаете запрос, поиск ведется одновременно по всем «параллельным»
базам, и Вы можете посмотреть результаты поиска, кликнув на названии базы.
И все это — одним запросом!
5

6. Статистика найденных страниц - позволяет узнать количество найденных
по запросу страниц и число сайтов, на которых они располагаются. Эти
показатели примерные и могут меняться.
7. Статистика запросов показывает, сколько раз в течение предыдущего
месяца в запросах пользователей содержалось то или иное слово.
6
7

8. Если в поиске по запросу участвовали не все проиндексированные
страницы, в области поиска показываются эти ограничения.
В их число входят ограничение по региону, сайту, языку, формату документа,
страницы, похожие на заданную, включенный семейный фильтр.
8

8. Когда поиск принес мало документов, Яндекс анализирует запрос и
предлагает способ, которым можно улучшить результаты.
Яндекс называет этот модуль «Колдунщиком».
Например, если Яндекс подозревает, что в запросе есть опечатка, он может
предложить возможный вариант написания слов. Например:
биаграфия
Опечатка? Возможно имелось ввиду: биография
8

9. Заголовок документа отражает название документа, данное ему автором страницы. При нажатии на него откроется сам документ (по умолчанию – в новом окне). Если вместо заголовка показывается адрес страницы, значит, ее заголовок не задан.
10. Аннотация документа составляется на основе его текста, из которого извлекаются предложения или их части, содержащие слова запроса. Описание сайта может быть извлечено из каталога Яндекс.
9
10

11. Характеристика документа:
адрес страницы сайта, наиболее соответствующей запросу;
размер страницы;
дата последнего изменения страницы, если сервер ее выдает;
мера соответствия страницы запросу.
11

11. Возможны три варианта меры соответствия:
отсутствие статуса означает, что все слова запроса есть в тексте страницы;
«нестрогое соответствие» появляется, когда Яндекс считает страницу недостаточно подходящей для ответа на запрос, но все же предлагает рассмотреть и такой вариант;
«найден по ссылке» говорит, что страница обнаружена по ссылкам и будет интересна вам, несмотря на то, что она не содержит слов запроса.
11

12. Ссылка «Найденные слова» открывает окно, в котором в тексте найденного документа цветом фона подсвечены слова запроса….
12

13. Ссылка «Еще с сайта» позволяет увидеть все документы с выбранного сайта, соответствующие запросу.
14. Если найденная страница расположена на сайте, зарегистрированном в каталоге Яндекса, то под описанием документа отображается рубрика каталога, которой он принадлежит. Перейдя по этой ссылке, вы попадете в соответствующий раздел каталога.
13
14

15. Если вам недостаточно ссылок на первой странице результатов, вы можете просмотреть другие страницы.
Ссылки «предыдущая» и «следующая» — переход на страницу, предшествующую или следующую за текущей.
Ряд чисел, оформленных в виде ссылок, позволяет перейти сразу на нужную страницу результатов.
15

16. Вы можете отсортировать найденные страницы одним из двух способов: по степени их соответствия запросу (релевантности); по дате последнего изменения документа.
17. Если ответ Яндекса на ваш запрос оказался недостаточно точным, попробуйте сформулировать запрос иначе, либо задайте его другим поисковым системам. Достаточно кликнуть на ссылку.
16
17

Сложные запросы в ПС Яндекс
Яндекс обладает мощным языком запросов, позволяющим контролировать малейшие нюансы его поведения при поиске.
Для использования наиболее востребованных команд не обязательно запоминать операторы — можно воспользоваться расширенным поиском.
В остальных случаях знание языка запросов дает возможность решать сложные поисковые задачи.

Поиск стоп-слов
Яндекс игнорирует общие слова (предлоги, артикли и т.п.)
В результатах поиска Яндекс укажет, какие слова были использованы при поиске.
Если Вам необходимо, чтобы подобное слово было найдено, используйте знак «+» в запросе.
Морфология
Все слова, которые вы приводите в запросе, по умолчанию ищутся с учетом морфологии. Чтобы отключить ее, используйте оператор ! перед словом (без пробела).
Запрос !день найдет страницы, где слово день встречается только в такой форме.
Если одна или несколько форм слова совпадает с другими словами, поиск может находить лишние страницы. Указав нормальную форму слова с помощью оператора !!, вы уберете многие из ненужных страниц.
Запрос !!день найдет все формы слова - дня, дню, днем и др., и не найдет форм слова деть (одна из которых совпадает со словом день).

Использование заглавных букв
Начиная слово с большой буквы, вы не найдете слов, написанных с маленькой буквы, если это слово не первое в предложении.
Поэтому не набирайте обычные слова с большой буквы, даже если с них начинается ваш вопрос Яндексу.
Заглавные буквы в запросе рекомендуется использовать только в именах собственных.
Поисковый контекст
Для запросов из нескольких слов, Яндекс умеет определять, на каком максимальном расстоянии должны быть слова запроса, чтобы страница лучше всего отвечала на запрос.
Вы можете указать требования к расстоянию в явном виде…
Слова идут подряд
Такой порядок слов можно указать с помощью запроса в кавычках.
Пример: по запросу «красная шапочка» будут найдены страницы, где есть подряд два слова: вначале красная, затем шапочка.
Причем именно в такой словоформе! Фраза «красной шапочке» найдена не будет!

Слова идут подряд
Учитывая, что Яндекс ищет слова в кавычках именно в такой словоформе, вместо запроса
«пермский университет»
используйте запрос
пермский /+1 университет
Этот запрос позволит найти
и «пермские университеты»,
и «пермским университетам»,
и «пермскому университету».
Поисковый контекст
Слова в одном предложении
Ограничить поиск страницами, где слова запроса находятся в пределах предложения, Вы можете, соединив слова оператором &.
Пример: запрос культура & Китая найдет страницы, где есть сочетания слов культура Древнего Китая или Китай и его культура.

Комментарий
«Яндекс пытается определить, насколько тесно слова запроса связаны между собой. Сильно связанные слова ищутся в пределах одного предложения, менее тесно связанные слова — на расстоянии в несколько предложений и, наконец, несвязанным словам достаточно встретиться на одной странице, чтобы она была сочтена соответствующей запросу»
Поисковый контекст
Слова в одном документе
Если вам нужны документы, где присутствуют заданные слова — неважно, на каком расстоянии и в каком порядке — соедините их оператором &&.
Пример: по запросу
продажа & сканеров && Новосибирск
найдутся страницы, где в одном предложении должны встретиться слова продажа и сканеры, и где угодно на странице должно быть слово Новосибирск

Расстояние между словами
Вы можете регулировать расстояние между словами с точностью до слова.
Слова на расстоянии в несколько слов
Вы можете указать максимально допустимое расстояние между двумя любыми словами запроса, поставив после первого слова символ /число.
Пример: запрос великий /2 хурал найдет страницы, где есть фразы хурал великий, или великий народный хурал, или великий государственный хурал, но не найдет великий государственный народный хурал.
Слова на расстоянии в несколько предложений
Вы можете задавать расстояние в предложениях. Для этого достаточно перед оператором расстояния / указать &&.
Пример: если вы хотите найти статью, где упоминается памятник Пушкина на площади Искусств, можете задать запрос
памятник Пушкину && /3 площадь Искусств

Порядок слов
Слова следуют в определенном порядке на нужном расстоянии
Если вы точно знаете не только расстояние, но и порядок слов
запроса, укажите между символом / и числом-расстоянием символ + для прямого порядка слов или - для обратного.
Пример: если вы хотите найти отчество Тургенева, то задайте запрос
Иван /+2 Тургенев
Будут найдены страницы, где между словами Иван и Тургенев есть ровно одно третье слово.
Слова расположены в заданной окрестности
В некоторых поисковых задачах слова могут идти в разном порядке, причем между ними может быть от n слов (минимум) до m (максимум). Добавив между словами запроса оператор /(n m), вы получите интересующие вас страницы.
Запрос Василий /(-2 +2) Лоханкин найдет как страницы с текстом Василий Батькович Лоханкин, так и Лоханкина звали Василий.
Можно получить полный словарь вариантов фразы. Это запросы вида !надеемся +на /+2 !сотрудничество
= «надеемся на какое-то_слово сотрудничество».
Можно определять дату рождения:
!Гоголь родился /+4 !года
=«Гоголь родился цифра месяц цифра года»