Как убрать дубли страниц сайта

Даже если на вашем сайте немного дубликатов страниц, их необходимо убрать в срочном порядке. Дело в том, что если поисковые роботы обнаружат повторяющиеся страницы на сайте, они могут понизить рейтинг и сайт опустится в поисковых выдачах, что крайне не желательно.

Поэтому чтобы портал приносил успех, нужно периодически проверять и при необходимости удалить дубли.

Какой вред приносят дубли страниц

Иногда начинающие веб мастера не предают значение повторяющимся страницам, и это грубейшая ошибка. Если не заниматься решением этого вопроса, могут появиться серьезные проблемы с продвижением сайта. Дубликаты страниц могут нанести следующий вред:

• Общая уникальность сайта будет значительно снижена.
• Дубли страниц, как правило, имеют одинаковые мета-теги, что также негативно сказывается на ранжировании.
• Поисковым роботам сложно определить, как страница является дубликатом, а какая подлинником, и не знают какую из них отображать.

Как видим, повторяющиеся страницы на сайте могут негативно влиять на его развитие и продвижение в поисковой выдаче.

Читайте также: Что такое перелинковка сайта.

С чего начать

Прежде чем приступить к удалению страниц, необходимо выявить причину их появления. Но чаще всего, эта проблема происходит по следующим причинам:

• Неправильные настройки фильтров поиска на сайте.
• Допущены ошибки при создании структуры сайта.

Современные «движки» иногда допускают подобные ошибки. По ошибке они могут сгенерировать копии страниц и при этом хранить их под разными именами. Как видим, причин появления дублей страниц может быть несколько, но в любом случае проблему необходимо решать.

Влияние дубликатов на позиции сайта

Если на вашем веб-ресурсе появятся повторяющиеся страницы, это вызовет существенные проблемы в продвижении. Когда поисковый робот заметит, что на сайте присутствуют страницы с одинаковым контентом, он посчитает их не уникальными. Соответственно, это повлечет за собой снижение позиций.

В целом уникальность сайта будет снижена. Когда поисковики проиндексируют такие страницы, одна из них будет считаться не уникальной из-за одинакового контента. Сайт очень долго индексируются. Поисковым роботам требуется слишком много времени, чтобы проиндексировать большое количество страниц, в том числе и дубликатов.

Как решить выявленные проблемы

После выявления причины появления дубликатов страниц их нужно удалить. Сделать это можно несколькими способами, которые мы рассмотрим ниже.

Удаление вручную. Способ подходит, если сайт имеет не более 150 страниц. Только в таком случае их можно просмотреть и удалить лишние самостоятельно.

С помощью robots.txt. Таким методом вы не удалите дублирующиеся странички, а просто скроете их от поисковых роботов, чтобы они не смогли индексировать эти странички. Боты не смогут заходить на определенные страницы, если использовать директиву «Disallow». Если вы хотите запретить боту поисковой системы Яндекс индексировать какую-либо страницу, укажите в robots.txt следующее: user-agent: Yandex Disallow: /stranitsa*

С использованием мета-тега «noindex». Такой метод также не может убрать дубли страниц сайта, но может их скрыть от индексирования. Способ похож на предыдущий. Вам необходимо зайти в раздел Head и прописать в HTML-коде следующее: <meta name=”robots” content =”noindex”. Следует помнить один нюанс, что если дубликаты страниц ранее были проиндексированными, то они так и будут отображаться, пока не будет выполнена следующая индексация.

С помощью перенаправления 410 можно оповестить поисковых роботов о том, что страничка не существует. Необходимо в файле конфигурирования сервера .htaccess прописать Redirect410/tag/stranitsa69.html

Еще один способ, с помощью которого не получится удалить дубли страницы, но вы сможете указать роботам путь к исходным страницам. В коде HTML страниц в разделе Head нужно указать: <link rel=”canonical”href=http://www.example.com/stranitsa69.html/>
Если вы не можете удалить дубликаты страничек на сайте, необходимо обезопасить странички связанные с дубликатами по внутренней перелинковке. Чтобы вес не передавался повторяющимся страницам, пропишите в ссылках следующее: <a href=http://100stranits/stranitsa69.html”rel=”nofollow”>Страница69</a>

Теперь вы знаете, как убрать дубликаты страниц на сайте. Рекомендуется периодически проверять ресурс, чтобы не допустить появления повторяющихся страничек. Это позволит вовремя выявить проблему и решить ее соответственно. В продвижении сайта важна не только внутренняя оптимизация, но и своевременное выявление всех проблем. Вышеописанные способы и рекомендации позволят вам избавиться от дублей.