На каждом сайте должен присутствовать файл robots.txt. Это набор инструкций для поисковых роботов, которые сканируют интернет-площадки. Чем больше страниц просканировано таким ботом, тем сильнее увеличивается вероятность того, что сайт будет показываться в поисковой выдаче.
Файл robots.txt создается в текстовом редакторе, а затем загружается в корневую папку сайта. Она же называется файловым менеджером. В файле robots.txt прописываются определенные команды, понятные только поисковым роботам и тем, кто знаком с сайтостроительством и раскруткой веб-площадок.
Посмотреть, как выглядит этот файл на любом интернет-ресурсе можно, набрав в браузерной строке http://имясайта/robots.txt. Если в файле robots.txt размещены следующие две строки, значит, сайт запрещен к индексации роботами:
User-agent: *
Disallow: /
Такое часто встречается на сайтах uCoz, которым меньше месяца. Разработчики uCoz дают возможность создателю интернет-страницы наполнить ее контентом в течение месяца, чтобы потом поисковые роботы могли сканировать полноценные страницы.
Правильный файл robots.txt, открытый для сканирования, имеет длинный список команд:
User-agent: *
Allow: /wp-content/uploads
Disallow: /download
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /topic
Disallow: /tag
Disallow: /archive
Disallow: /page
Disallow: /attachment
Disallow: */comments
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: /feed
Disallow: /?feed=
Disallow: /?s=
Disallow: /*utm_
Disallow: */comment-page-*
Disallow: *?replytocom
Clean-param: utm_source
Host: названиесайта.ru
User-agent: MediaPartners-Google
Allow: /
Sitemap: http://названиесайта/sitemap.xml
Как должен выглядеть файл robots.txt для сайта, зависит от той CMS, на которой он работает. Приведенный на этой странице список команд — это лучший robots.txt для веб-ресурса на «Вордпресс».
Copyright © omirs.com
