Содержание
- 2. В текстовом редакторе создайте файл с именем robots.txt и заполните его в соответствии с представленными ниже
- 3. В роботе Яндекса используется сессионный принцип работы, на каждую сессию формируется определенный пул страниц, которые планирует
- 4. Директивы Disallow и Allow Чтобы запретить доступ робота к сайту или некоторым его разделам, используйте директиву
- 6. Чтобы разрешить доступ робота к сайту или некоторым его разделам, используйте директиву Allow
- 8. Использование спецсимволов * и $ При указании путей директив Allow и Disallow можно использовать спецсимволы *
- 9. Директивы Allow и Disallow без параметров Если директивы не содержат параметры, учитывает данные следующим образом:
- 10. Использование спецсимволов * и $
- 13. Директива Sitemap
- 14. Директива Host Если у вашего сайта есть зеркала, специальный робот зеркальщик определит их и сформирует группу
- 16. Проверьте ваш файл в вебмастерах google и yandex
- 18. Скачать презентацию