Подробности о файле robots.txt

На каждом сайте есть такой файл, который называется robots.txt. Это набор инструкций для поисковых роботов, которые сканируют страницы сайта. Чем больше страниц просканировано таким ботом, тем больше вероятность, что информация с интернет-страницы попадёт в поисковую выдачу и читатели найдут то, что автор сайта написал.

подробности о файле robots.txt

Файл robots.txt создаётся в текстовом редакторе, а затем загружается в корневую папку. Ох, и не люблю же я это название! А причина проста…. Когда-то, читая на страницах интернета информацию об этом самом пресловутом файле robots.txt, я естественно следовала инструкциям, по созданию и применению оного.

В пункте «Закачать файл в корневую папку сайта» я тормознула. Уж искала я эту самую папку… запарилась… А она называется проще «Файловый менеджер». Вот когда я это осознала… В общем, в файле robots.txt прописываются определённые команды, понятные только поисковым роботам и тем, кто знаком с сайтостроительством и раскруткой сайтов.

Посмотреть, как выглядит этот файл на вашем ресурсе, можно, набрав в браузерной строке http://имя сайта/robots.txt
Если вы видите подобное:

User-agent: *
Disallow: /

То значит, ваш сайт в файле robots.txt запрещён к индексации роботами. Такое бывает, если скрипт кривой, а также на сайтах Укоза, которым меньше месяца. Разработчики Укоза дают возможность, создателю интернет-страницы, наполнить её контентом в течение месяца, чтобы потом поисковые боты спокойно могли сканировать ваши страницы. Им нравится, если сайты наполнены контентом, картинками и т.д.

Правильный файл robots.txt открытый для сканирования имеет длинный список команд, необходимых для этого:

# robots.txt
User-agent: *
Allow: /wp-content/uploads
Disallow: /download
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /topic
Disallow: /tag
Disallow: /archive
Disallow: /page
Disallow: /attachment
Disallow: */comments
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: /feed
Disallow: /?feed=
Disallow: /?s=
Disallow: /*utm_
Disallow: */comment-page-*
Disallow: *?replytocom
Clean-param: utm_source
Host: названиесайта.ru
User-agent: MediaPartners-Google
Allow: /
Sitemap: http://названиесайта/sitemap.xml

Скачать заархивированный перечень команд для робота, можно тут.

Как должен выглядеть файл robots.txt для вашего сайта, зависит от того движка, на котором он работает. Приведённый мной в пример список команд – это лучший robots.txt для веб-ресурса на Вордпресс.

Copyright © kak-sarabotatj.ru

Играть в "Крестики нолики"!

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *