Как избежать дублирования сайта


В работе мы часто сталкиваемся с проблемой дубликатов сайтов, возникающей только потому, что при разработке нового сайта забывают закрыть или удалить его тестовую версию. В результате сайт имеет полное зеркало, а контент уже не уникален, проиндексирован поисковыми системами, и продвигать такой ресурс становится проблематично.

Тестовый сайт располагается на поддомене, в отдельной директории основного сайта, или на тестовой площадке. В чем проблема? Часто, наполняя эту версию, разработчики не закрывают сайт даже через robots.txt, хотя это кажется очевидным. Начиная работу с проектом, SEO-специалист проводит проверку сайта на уникальность контента и наличие зеркал и обнаруживает полную копию основного сайта, что становится преградой для эффективного продвижения в поиске.

Конечно, владельцы сайта откликаются на наши просьбы и закрывают тестовую версию от индексации. Но иногда они переносят отладочный сайт вместе с закрывающим от индексации robots.txt на основной, а порой производят перенос в конце рабочей недели, что может вызвать выпадение сайта из поисковой выдачи до понедельника, когда проблему обнаружат и приступят к решению.

Варианты закрытия сайта от индексации

Специалист отдела качества поиска Google Д. Мюллер предлагает решать проблему в Google Search Console, удаляя с ее помощью промежуточный сайт из поиска. Сначала владелец сайта подтверждает право собственности на ресурс, а затем направляет запрос на удаление нужных страниц из индекса. В этом способе существуют подводные камни: удаление URL из кэша или поиска не влияет на сканирование страниц роботом Googlebot, и страницы снова могут появиться в результатах выдачи.

Пока идет разработка сайта, существует опасность хищения его контента грабберами. То есть впоследствии поисковики могут считать первоисточником не вновь выложенный сайт, а его тестовую версию, содержимое которой уже может быть скопировано конкурентами.

Использование метатега <meta name="robots" content="noindex, nofollow"/> на всех страницах сайта дает сигнал не индексировать текст страницы и не переходить по ссылкам. Работает и в Яндексе, и в Google.

Эти способы Джон считает не самыми надежными. И мы с ним полностью согласны.

Какой вариант выбрать?

Оптимальный способ обеспечить, чтобы тестовый сайт не попал в индекс поисковых систем, не перенести случайно закрывающий robots.txt с тестового сайта и предотвратить кражу вашего контента, созданного упорным трудом, – авторизация по паролю или IP-адресу. Пароль выдается только исполнителям, работающим над сайтом, вводится один раз – так к отладочному сайту получают доступ только те, кому он нужен.

Поисковые роботы могут попасть на не закрытый от индексации сайт в том числе по ссылке, выложенной на странице социальной сети, например, с просьбой протестировать сайт. Защита при помощи пароля решает все перечисленные выше проблемы.

Комментариев нет
5/5 (100%) 1 голос(ов)
5 1
Просмотров: 285
 

Оставить комментарий


Имя*
E-Mail (не публикуется)
Комментарий*