Дубли главной страницы мешают продвижению сайта

Практически все CMS, доступные в настоящее время, создают дубли главной страницы сайта, как и внутренних. Кроме того, еще и хостинг способен генерировать дубликаты страниц. Эта не видимая для многих веб-мастеров проблема в продвижении тормозит развитие их веб-ресурсов.

дубли главной страницы сайта

Содержание статьи:
  1. Что такое дубли страниц на сайте?
  2. Каким бывает дубль главной?
  3. Чем опасны дубли страниц?
  4. Как проверить дубль главной страницы?
  5. Как убрать дубли главной?

Существует два вида дублей:

1. Полные дубли страниц — это абсолютные копии. Они значительно ухудшают ранжирование сайта.

2. Неполные дубли — это когда не сайте дублируются части и отдельные фрагменты контента. Частичное дублирование наблюдается обычно на главной, в рубриках, архивах и RSS-ленте. Ведь там публикуются анонсы — первые абзацы статей.

Каким бывает дубль главной?

1. Если сайт размещен на хостинге по тарифу, где допускается привязка только 1 домена, дубли главной страницы могут быть такими, как на изображении, размещенном ниже.

примеры дублей главной страницы сайта

Не в каждом случае создаются дубли главной с index.php. Как и те, что заканчиваются на index.html.

2. В случае когда сайт является аддоном (дополнительным) на хостинге и если он располагается под главным доменом, его вторым адресом является поддомен главного. Например, если основное доменное имя — домен.com, а аддона — сайт.com, то дублями главной сайт.com будут сайт.домен.com и www.сайт.домен.com.

3. IP-адрес, по которому располагается сайт, может быть дублем главной страницы, если:
— у веб-ресурса выделенный IP-адрес;
— сайт является первым из размещенных на сервере.

Этот дубль главной содержит в своем адресе IP-адрес, как например, http://123.456.789.120.

4. Сейчас все больше сайтов переезжает на защищенный протокол. В связи с этим многие хостеры подключают к каждому сайту бесплатный сертификат и не уведомляют об этом владельцев веб-ресурсов. А потому в поиске появляются дубли. Поэтому важно проверить их наличие и удалить каждый.

Их адреса обычно такого вида: https://веб-сайт.net, https://www.веб-сайт.net. А если сайт — аддон, то дублирование страницы может быть еще и таким: https://веб-сайт.domen.net и https://www.веб-сайт.domen.net.

5. Движки сайтов тоже создают дубли главной страницы. WordPress среди всех CMS выделяется обильной генерацией одинаковых интернет-страничек. Он может создавать дубли главной с адресами вида:
— веб-ресурс.ru/?;
— веб-ресурс.ru/?page2;
— веб-ресурс.ru/index/1.

Это далеко не весь список возможных дубликатов главной. Существуют и другие. После «/?» может указываться, вообще, чужой домен. Такое безобразие вытворяют конкуренты и создатели дорвеев.

Чем опасны дубли страниц?

Повторяющийся на разных страничках сайта контент считается неуникальным. А потому поисковые роботы понижают их в выдаче. Google и «Яндекс» усиленно борются за чистоту интернета. И их разработчикам все равно, опытный веб-мастер создал веб-площадку или новичок.

Роботы находят в сети очередной сайт, устанавливают, что на его разных страницах одинаковый контент и выкидывают дубли вместе с оригиналом из выдачи или отправляют на последние места. Хуже всего на SEO сайта влияет дублирование главной. Разные URL одного веб-ресурса — худший вариант дублей. Поэтому нужно время от времени проверять адрес и затем убирать похожие страницы, чтобы они не попали в индекс.

Ниже по пунктам разъясняется, в чем заключается опасность дублирования страниц:

1. Ухудшается индексация сайта. Вместо 100 страничек веб-ресурс может обладать сразу 1 000, 90 % из которых — дубли.

2. Неправильно распределяется внутренний ссылочный вес. Страницы-дубли могут определяться роботами, как наиболее значимые.

3. Неверно выбирается роботом релевантная страница. Пример: вместо главной — ресурс.com релевантной может показываться в поиске ресурс.com/?page2/page5/page3/.

4. Теряется естественный внешний ссылочный вес. Если интернет-пользователь перейдет по дублю, анонс он запостит на свою стену в соцсети либо на форуме, указав адрес странички-дубля, содержащей тот же контент, что размещен и на основной.

Как проверить дубль главной страницы?

Выявить большую часть альтернативных адресов сайта помогает этот сервис проверки качества сертификата SSL. На его странице напротив Hostname надо указать домен сайта, а затем нажать на кнопку Submit. В результате появится список альтернативных адресов.

Другой способ определить дубли главной — прописывать в строке браузера свой домен, дополняя его теми символами, что указаны в предыдущей части статьи. На дублях станет отображаться главная страница сайта со всем ее содержимым.

Как убрать дубли главной?

1. Борьба с разными адресами веб-площадки далеко не настолько сложна, как может показаться. Хотя отнимает она много времени и требует определенных знаний. Главное — найти все альтернативные названия интернет-ресурса. Тогда удастся их удалить из поиска. Проще всего убрать дубли главной страницы через .htaccess.

Применяя новый код в файле .htaccess, рекомендуется предварительно создать его резервную копию, чтобы в случае допущения ошибки быстро восстановить работоспособность сайта.

Ниже представлен код, который делает 301 редирект всех страниц с https на http (если у сайта еще нет сертификата). А также добавляет слэш в конце URL каждой страницы. Это код для файла .htaccess на WordPress, как и все остальные, представленные на этой странице:

RewriteEngine On
RewriteCond %{HTTPS} on
RewriteRule (.*) http://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]
RewriteCond %{REQUEST_URI} !/$
RewriteCond %{REQUEST_URI} !\.

Другое правило позволяет указать в .htaccess разрешенные хосты. В данном случае приоритетным указывается домен с www. Данный код запрещает обращаться к сайту по IP. Вместо «сайт.ru» нужно указать доменное имя своей площадки:

SetEnvIfNoCase Host ^(?:www\.)?сайт\.ru$ allow_host
Order Deny,Allow
Deny from env=!allow_host

Следующее правило позволяет создать переадресацию с адреса вида название-сайта.ru/index.php на основное зеркало:

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ http://название-сайта.ru/ [R=301,L]

Данное правило убирает дубли страниц, делая редирект со страницы без «/» на страницу о слешем:

RewriteCond %{REQUEST_URI} !\?
RewriteCond %{REQUEST_URI} !\&
RewriteCond %{REQUEST_URI} !\=
RewriteCond %{REQUEST_URI} !\.
RewriteCond %{REQUEST_URI} !\/$
RewriteRule ^(.*[^\/])$ /$1/ [R=301,L]

Это правило делает переадресацию с http://www.домен.ru на http://домен.ru:

RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.домен.ru$ [NC]
RewriteRule ^(.*)$ http://домен.ru/$1 [R=301,L]

Данный код позволяет сделать переадресацию с http://интернет-страница.ru/index.html на http://интернет-страница.ru. Тут также подключается обработка 404 ошибки:

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index.html\ HTTP/
RewriteRule ^index.html$ http://интернет-страница/ [R=301,L]
RewriteRule ^index.html/ http://интернет-страница.ru/ [L,R=301]
ErrorDocument 404 /err404.html

2. Следует отметить, что robots.txt тоже позволяет справиться с адресами вида:
— веб-страница.ru/?;
— веб-страница.ru/?page2;
— веб-страница.ru/index/1.

В файле robots.txt надо указать все дубли запрещенными к индексации. При этом они не исчезнут с веб-ресурса, однако, не появятся в поиске. Ведь роботы поисковых систем не станут их индексировать.

Запрет на индексацию дублей в файле robots.txt должен быть такого вида:
Disallow: /?
Disallow: /*?page
Disallow: /index/1

3. Если сайт является аддоном и подчинятся всем правилам родительского домена, его дублем будет домен третьего уровня. То есть, поддомен основного. В этом случае надо убрать public_html/ на хостинге в настройках домена напротив Document Root. После этих изменений нужно перенести в новую папку (расположенную по адресу без public_html/) все файлы сайта.

Другой способ удалить поддомен из индекса — настроить 301 редирект. В этом случае он уже не попадет в поиск, а потому не станет дублем. Важно, чтобы только главное зеркало веб-ресурса появлялось в поиске. В этом случае можно ожидать на страницы трафик из поисковых систем. А потому — и ежемесячный доход.

Copyright © kak-sarabotatj.ru

Дубли главной страницы мешают продвижению сайта” 1 комментарий
  1. Надежда

    Благодарю Вас за эту информацию. Я ведь сайт свой вот с год как веду и про дубли даже не слыхала. Пишите больше на эти темы, чтоб мы незнайки могли свои сайты развить.

Дубли главной страницы сайта вредят его раскрутке

Ваш email не будет опубликован. Обязательные поля помечены *. Комментарий публикуется после модерации.

Отправляя комментарий, я принимаю пользовательское соглашение и подтверждаю ознакомление и согласие с политикой конфиденциальности данного сайта. Проставляя галочку в чекбоксе, я подтверждаю, что понимаю содержание данных документов.