Как остановить поисковые системы от сканирования сайта WordPress

Недавно один из наших пользователей спросил нас, как они могут помешать поисковым системам сканировать и индексировать свой сайт WordPress? Существует множество сценариев, когда вы не хотите, чтобы поисковые системы сканировали ваш сайт или отображали его в результатах поиска. В этой статье мы покажем вам, как запретить поисковым системам сканировать сайт WordPress.^

Почему и кто захочет прекратить поисковики

Для большинства сайтов поисковые системы являются крупнейшим источником трафика. Вы можете спросить, зачем кому-то блокировать поисковые системы?

В начале многие люди не знают, как создать локальную среду разработки или промежуточный сайт. Если вы разрабатываете свой веб-сайт в режиме реального времени на общедоступном доменном имени, то вы, вероятно, не хотите, чтобы Google проиндексировал вашу страницу в режиме разработки или обслуживания.

Есть также много людей, которые используют WordPress для создания личных блогов, и они не хотят, чтобы они были проиндексированы в результатах поиска, потому что они частные.

Также некоторые люди используют WordPress для управления проектами или внутренней сети, и вы не хотели бы, чтобы ваши внутренние документы были общедоступными.

Во всех вышеперечисленных ситуациях вы, вероятно, не хотите, чтобы поисковые системы проиндексировали ваш сайт.

Распространенным заблуждением является то, что если у меня нет ссылок, указывающих на мой домен, то поисковые системы, вероятно, никогда не найдут мой сайт. Это не совсем верно.

Есть много способов, которыми поисковые системы могут найти веб-сайт, связанный в другом месте. Например:

Ваше доменное имя ранее могло принадлежать кому-то другому, и у него все еще есть ссылки, указывающие на ваш сайт.
Результаты поиска на некоторых доменах могут быть проиндексированы с вашей ссылкой на них.
Буквально тысячи страниц с просто списком доменных имен, ваш сайт может появиться на одном из них.
В Интернете происходит много вещей, и большинство из них не находятся под вашим контролем. Тем не менее, ваш сайт все еще находится под вашим контролем, и вы можете дать указание поисковым системам не индексировать и не следить за вашим сайтом.

Блокировка поисковых систем от сканирования и индексации вашего сайта WordPress

WordPress поставляется со встроенной функцией, которая позволяет указывать поисковым системам не индексировать ваш сайт. Все, что вам нужно сделать, это зайти в «Настройки» »« Чтение »и установить флажок« Видимость поисковой системы »^

Когда этот флажок установлен, WordPress добавляет эту строку в заголовок вашего сайта:^

WordPress также изменяет файл robots.txt вашего сайта и добавляет в него следующие строки:^

Эти строки просят роботов (веб-сканеры) не индексировать ваши страницы. Тем не менее, поисковые системы должны принять этот запрос или проигнорировать его. Даже при том, что большинство поисковых систем уважают это, некоторые страницы или случайные изображения с вашего сайта могут быть проиндексированы.

Как убедиться, что ваш сайт не отображается в результатах поиска?

Настройки видимости WordPress по умолчанию предписывают поисковым системам не индексировать ваш сайт. Тем не менее, поисковые системы могут по-прежнему сканировать и индексировать страницу, файл или изображение с вашего сайта.

Единственный способ убедиться, что поисковые системы вообще не индексируют и не сканируют ваш сайт, – это защитить ваш сайт WordPress паролем на уровне сервера.

Это означает, что когда кто-либо пытается получить доступ к вашему веб-сайту, его просят ввести имя пользователя и пароль еще до того, как они достигнут WordPress. Это касается и поисковых систем. При неудачном входе они показывают 401 ошибку и боты отворачиваются. Вот как можно защитить паролем весь сайт WordPress.

Метод 1: Защита паролем всего сайта с помощью cPanel

Если ваш хостинг-провайдер WordPress предлагает cPanel доступ для управления вашей учетной записью хостинга, вы можете защитить весь свой сайт с помощью cPanel. Все, что вам нужно сделать, это войти в свою панель управления cPanel и затем щелкнуть значок «Защита паролем каталогов» в разделе «Безопасность».^

Далее вам нужно будет выбрать папку, в которую вы установили WordPress. Обычно это папка public_html.^

Если у вас есть несколько сайтов WordPress, установленных в каталоге public_html, то вам нужно нажать на значок папки, чтобы просмотреть и выбрать папку для веб-сайта, который вы хотите защитить паролем.

На следующем экране вам нужно ввести имя для защищенного каталога и нажать кнопку «Сохранить».^

Ваша информация будет сохранена, и cPanel перезагрузит страницу. После этого вам необходимо добавить авторизованного пользователя, введя имя пользователя и пароль.^

Вот и все, вы успешно добавили защиту паролем на свой сайт WordPress.

Теперь, когда пользователь или поисковая система посещает ваш сайт, ему будет предложено ввести имя пользователя и пароль, которые вы создали ранее для просмотра сайта.^

Способ 2: защита паролем WordPress с помощью плагина

Если вы используете управляемое решение для хостинга WordPress, иногда у вас нет доступа к cPanel.

В этом случае у вас есть возможность использовать различные плагины WordPress для защиты вашего сайта паролем. Ниже приведены два самых популярных решения:

SeedProd – это скоро появившийся плагин № 1 и плагин для режима поддержки WordPress, который используется на более чем 800 000 веб-сайтов. Он поставляется с полным контролем доступа и функциями разрешений, которые вы можете использовать, чтобы скрыть свой сайт от всех, включая поисковые системы. У нас есть пошаговое руководство для SeedProd.
Защита паролем – это очень простой способ защитить паролем ваш сайт WordPress с помощью одного пароля (не требуется создание пользователя). Смотрите наше пошаговое руководство о том, как защитить паролем сайт WordPress.
Мы надеемся, что эта статья помогла вам запретить поисковым системам сканировать или индексировать ваш сайт WordPress. Возможно, вы также захотите ознакомиться с нашим пошаговым руководством по безопасности WordPress для начинающих.

Если вам понравилась эта статья, пожалуйста, подпишитесь на наш канал YouTube для видеоуроков WordPress. Вы также можете найти нас в Twitter и Facebook.