Борьба с дублями на сайте. Почему от копий нужно избавиться

Под дублями стоит понимать страницы сайта, имеющие идентичное или частично одинаковое содержание при разных адресах (URL). Наличие четких и нечетких дублей создает путаницу для поисковых роботов и мешает нормальному продвижению веб-ресурса. О негативной роли клонов, об их поиске и удалении, мы и будем говорить в данной статье.

Откуда берутся дубли

1. Создаются программными средствами CMS. Почти каждая система управления контентом при добавлении новой статьи создает дубли в категориях:
   • «Последние новости»;
   • «Облако тегов»;
   • «Популярные новости»;
   • «RSS»;
   • «Архив»;
   • «Короткая новость»;
   • «Полная новость»;
   • «Новость для главной страницы» и др.

   Все, что открыто для индексации, попадает в поисковую систему.

   Если говорить о системах с динамическими адресами страниц, то ситуация выглядит еще хуже и запутанней. Кроме того, отдельные текстовые участки страниц могут использоваться всевозможными виджетами и информационными блоками, что также создает дополнительные проблемы с потерей уникальности.

2. Появляются из-за ошибок вебмастера, невнимательности и неточности.
3. Возникают при изменении ссылочной структуры проекта (когда старые адреса заменяются новыми, например, при смене шаблона).
4. Рождаются путем присвоения страницам дополнительных функций (комментарий конкретного пользователя, передача информации о действиях посетителя, версия для печати, версия для передачи в виджет и т.д.).
5. Создаются как страницы пагинации. При простановке нумерации страниц на сайте создаются дополнительные URL, помечаемые знаком «page» и порядковым номером.

Почему дублированный контент вреден для сайта

1. Наличие клонов снижает процент уникальности. Поисковый робот видит, что аналогичный текст расположен и по другому адресу, отчего основная страница теряет рейтинговые позиции.
2. Попадание дублей в результаты поисковой выдачи затрудняет работу оптимизатора, который продвигает в ТОП конкретную страницу сайта, а не ее копию.
3. Пользователь, желающий поделиться ссылкой, может указать URL дубля, а не основной страницы, что также усложнит раскрутку.
4. Дублирующиеся страницы перетягивают на себя часть «ссылочного веса», понижая потенциал ресурса в целом.
5. При одинаковом содержимом оригинал и копия могут иметь различное внешнее отображение, в котором дубль не так хорош, как основная страница, специально предназначенная для приема целевой аудитории.
6. Наличие дублей рождает путаницу для пользователей и поисковых систем, усложняет структуру сайта. В отдельных случаях такое положение вещей может стать препятствием для нормальной индексации сайта.
7. Поисковая система при ранжировании ресурса может испытывать затруднения в выборе истинно релевантной страницы.

Как найти дубли

Отыскать повторяющиеся участки контента не составит труда, если воспользоваться:

• инструментами для глубокой проверки уникальности в рамках сайта;
• средствами расширенного поиска Яндекса.

Выполнив поиск по какому-либо фрагменту текста, уже размещенному на сайте, можно отыскать те страницы, которые являются дублями. Расширенный поиск Яндекса по конкретному сайту – лучший и простейший способ нахождения копий. При выявлении таких страниц рекомендуется предпринять меры по их устранению.

Как бороться с дублями и клонами

1. Редирект 301. Подразумевает перенаправление пользователей и поисковых роботов на основные страницы.
2. Атрибут ссылки «canonical». Указывает поисковой машине, что страница является основной, и именно ее необходимо индексировать.
3. Запрещающая команда в robots.txt. При помощи специального файла, размещенного в корневой директории сайта, вебмастер управляет поисковыми роботами, рекомендуя им не индексировать отдельные страницы или разделы веб-ресурса. Путем грамотного составления шаблона запретной ссылки здесь можно закрыть как отдельные элементы, так и целые функциональные разделы.
4. Плагин Clearfy Pro . Если ваш сайт на WordPress, то вам просто необходимо установить этот плагин. Помимо удаления дублей страниц в несколько кликов, в его функции также входят: чистка кода от мусора, SEO-оптимизация, защита сайта и многое другое.

Дубли закрыты, что дальше

После того, как дублирующиеся страницы будут закрыты от индексации вышеупомянутыми способами, вебмастеру предстоит устранить те копии, что уже прошли индексацию.

В Яндексе все эти операции производятся автоматически и не требуют дополнительных действий. В случае с Google вебмастеру лучше воспользоваться специальной опцией «Параметры URL», которую можно отыскать в разделе для вебмастеров.

Автор: SsabbasS