В последнем видео из серии Ask Googlebot на YouTube Джон Мюллер ответил на вопрос о том, как можно предотвратить индексацию сайта в поиске.
Существует три способа скрыть сайт из выдачи:
Защита паролем
Блокировка краулинга
Блокировка индексации
Сайты могут либо запретить индексацию своего сайта полностью, либо скрыть часть контента от Googlebot с помощью пароля, продолжая индексироваться в поиске. Блокировка контента от поисковых роботов не нарушает правила Google, если он скрыт одинаково для всех пользователей.
Проблемы могут возникнуть в случае, если ваш сайт показывает разный контент Googlebot и пользователям. Такой приём называется клóакингом (от англ.слова ‘cloaking’ - маскировка, сокрытие) и нарушает Руководство Google.
3 способа скрыть контент от поисковой системы
1. Защита паролем
Если вы хотите сделать содержимое своего сайта приватным, то лучший способ сделать это — защитить его паролем. В этом случае ни поисковые роботы, ни пользователи интернета не смогут получить доступ к вашему контенту. К такой практике часто прибегают владельцы сайтов, находящихся на этапе разработки.
2. Блокировка краулинга
Другой способ ограничения доступа Google к вашему сайту — блокировка краулинга, которую можно сделать с помощью файла robots.txt. Этот метод позволяет людям переходить на ваш ресурс при наличии прямой ссылки на него, но скрывает его контент от поисковых роботов.
По словам Джона Мюллера, это не лучший способ убрать свой сайт из выдачи, так как Googlebot всё ещё сможет индексировать его адрес, не получая при этом доступа к его содержимому. Такое бывает редко, но вебмастерам стоит знать о такой вероятности.
3. Блокировка индексации
Третий способ скрыть свой ресурс из выдачи — добавить метатег noindex на его страницы. Благодаря ему Googlebot не сможет индексировать страницу даже после того, как обнаружит её в поиске. Пользователи не увидят этот метатег, но смогут свободно взаимодействовать со страницей, на которой он прописан.
В конце видео Мюллер рассказал о том, какой из этих трёх способов предпочтительнее для Google:
“Если говорить о приватном контенте, то мы рекомендуем защитить его паролем. Во-первых, вы с лёгкостью сможете проверить, работает ли этот метод, а во-вторых, пароль не позволит никому получить доступ к вашему контенту.
Блокировка краулинга или индексации подойдёт сайтам, для которых приватность не играет большую роль, или которые хотят скрыть из выдачи только часть своего контента”.