Слайд 2В текстовом редакторе создайте файл с именем robots.txt и заполните его в соответствии с
![В текстовом редакторе создайте файл с именем robots.txt и заполните его в](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/919873/slide-1.jpg)
представленными ниже правилами.
Слайд 3В роботе Яндекса используется сессионный принцип работы, на каждую сессию формируется определенный
![В роботе Яндекса используется сессионный принцип работы, на каждую сессию формируется определенный](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/919873/slide-2.jpg)
пул страниц, которые планирует загрузить робот.
Сессия начинается с загрузки файла robots.txt. Если файл отсутствует, не является текстовым или на запрос робота возвращается HTTP-статус отличный от 200 OK, робот считает, что доступ к документам не ограничен.
В файле robots.txt робот проверяет наличие записей, начинающихся с User-agent:, в них учитываются подстроки Yandex (регистр значения не имеет) или * . Если обнаружена строка User-agent: Yandex, директивы для User-agent: * не учитываются. Если строки User-agent: Yandex и User-agent: *отсутствуют, считается, что доступ роботу не ограничен.
Слайд 4Директивы Disallow и Allow
Чтобы запретить доступ робота к сайту или некоторым его
![Директивы Disallow и Allow Чтобы запретить доступ робота к сайту или некоторым](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/919873/slide-3.jpg)
разделам, используйте директиву Disallow.
Слайд 6Чтобы разрешить доступ робота к сайту или некоторым его разделам, используйте директиву Allow
![Чтобы разрешить доступ робота к сайту или некоторым его разделам, используйте директиву Allow](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/919873/slide-5.jpg)
Слайд 8Использование спецсимволов * и $
При указании путей директив Allow и Disallow можно использовать спецсимволы * и $, задавая, таким
![Использование спецсимволов * и $ При указании путей директив Allow и Disallow](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/919873/slide-7.jpg)
образом, определенные регулярные выражения. Спецсимвол * означает любую (в том числе пустую) последовательность символов.
Слайд 9Директивы Allow и Disallow без параметров
Если директивы не содержат параметры, учитывает данные
![Директивы Allow и Disallow без параметров Если директивы не содержат параметры, учитывает данные следующим образом:](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/919873/slide-8.jpg)
следующим образом:
Слайд 10Использование спецсимволов * и $
![Использование спецсимволов * и $](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/919873/slide-9.jpg)
Слайд 14Директива Host
Если у вашего сайта есть зеркала, специальный робот зеркальщик определит их
![Директива Host Если у вашего сайта есть зеркала, специальный робот зеркальщик определит](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/919873/slide-13.jpg)
и сформирует группу зеркал вашего сайта. В поиске будет участвовать только главное зеркало. Вы можете указать его для всех зеркал в файле robots.txt: имя главного зеркала должно быть значением директивы Host.
Директива 'Host' не гарантирует выбор указанного главного зеркала, тем не менее, алгоритм при принятии решения учитывает ее с высоким приоритетом
Слайд 16Проверьте ваш файл в вебмастерах google и yandex
![Проверьте ваш файл в вебмастерах google и yandex](/_ipx/f_webp&q_80&fit_contain&s_1440x1080/imagesDir/jpg/919873/slide-15.jpg)