Audit WP раскрывает потенциальные проблемы SEO с хостингом WP Engine

На этой неделе Audit WP запустил новую консультационную компанию по SEO, которую возглавил SEO-стратег Джейкоб Кинг. Первым делом фирмы после запуска было опубликовать сообщение , чтобы раскрыть то, что Кинг считает важными проблемами SEO и конфиденциальности для клиентов управляемого хоста WordPress WP Engine .

Аудит WP выявил более 1,5 млн результатов субдоменов WP Engine, проиндексированных в Google. С помощью парсинга Кинг смог получить огромный список проиндексированных поддоменов, размещенных на WP Engine , в дополнение к более чем 2000 электронных писем клиентов, которые он не публиковал.

Я поговорил с основателем WP Engine Джейсоном Коэном и спросил, считают ли они это проблемой конфиденциальности своих клиентов. Коэн сказал, что это не является проблемой конфиденциальности, учитывая, что проиндексированные домены уже общедоступны. «Эти электронные письма буквально уже были опубликованы в Интернете», — сказал он. «То есть причина , по которой они были доступны для очистки, заключается в том, что они уже были общедоступными и доступны для очистки любым человеком или роботом».

Проблема с индексацией промежуточных сайтов WP Engine была исправлена ​​некоторое время назад, однако разработчики иногда создают другие версии своих сайтов на поддоменах, не полностью понимая, что эти сайты являются общедоступными через поиск Google. В случае сайтов, размещенных на WP Engine, их очень легко найти, учитывая, что все они заканчиваются на *.wpengine.com. Если сайты не скрыты должным образом от поисковых систем, они становятся видимыми.

Как показано на одном известном примере, промежуточный сайт Harvard Law Review был общедоступным. Если вам интересно, как может выглядеть следующая итерация, Кинг опубликовал скриншот в своем посте . С тех пор разработчики этого сайта сделали его приватным, но, к сожалению, пока устанавливалась новая установка WordPress, кто-то проник и создал явный веб-сайт, якобы чтобы доказать свою точку зрения. Я сделал скриншот до того, как его удалили.

Это иллюстрирует очень реальную опасность того, что ваши субдомены станут общедоступными, пока они все еще находятся в стадии разработки. В конечном счете, ответственность за сокрытие этих сайтов от Google лежит на разработчике, но Коэн сказал, что они примут некоторые предложения из поста, как он упомянул в своем комментарии к посту:

Тем не менее, ваше предложение о том, что этот домен лучше использовать 301, по-прежнему *также* очень актуально. Кроме того, не все поисковые системы знают об этом сценарии, и поэтому один из выводов, который мы сделали из вашей статьи, заключается в том, что мы должны автоматически принудительно использовать файл robots.txt для доменов XYZ.wpengine.com так же, как мы делаем для промежуточного домены

Проблема дублированного контента

Вам не нужно быть очень техничным, чтобы знать, что поисковые системы считают дублирование контента смертным грехом и быстро накажут вас за это. Хотя WP Engine заставляет «запретить роботам все» в файле robots.txt при подготовке, не все поисковые системы будут уважать это.

Однако Джейсон Коэн вешает шляпу на личные заверения, которые он получил от Мэтта Каттса относительно практики:

Google поддерживает набор корневых доменов, которые, как они знают, являются компаниями, которые делают именно то, что делаем мы и многие другие хостинговые компании. В этот список включены WordPress.com, SquareSpace и мы. Когда они обнаруживают «дублированный контент» на поддоменах из этого списка, они знают, что на самом деле это не дублированный контент. Вы можете увидеть это в поиске Google, но это не засчитывается против вас.

У нас был диалог непосредственно с Мэттом Каттсом по этому поводу, так что это не предположение, а факт.

SEO часто является движущейся целью, и существуют разные и противоречивые мнения о многих основных принципах, включая такие проблемы, как дублирование контента.

Кинг заявил , что не верит, что какая-либо информация от Мэтта Каттса является «фактом». Он ответил, что они не считают разумным позволять Google определять, какой сайт является дубликатом, и поэтому в сообщении предлагаются пошаговые инструкции, которые помогут клиентам WP Engine настроить правильные перенаправления субдоменов для предотвращения индексации.

Давняя проблема с субдоменами

Пост на Audit WP отправил WP Engine в режим устранения повреждений, и они запустили в Твиттере массовую кампанию ответов, дискредитирующих основные пункты статьи. До сих пор они не написали в Твиттере никакого подтверждения предложений, которые они будут реализовывать.

Я поговорил с основателем Audit WP Джейкобом Кингом, чтобы выяснить его мотивы публикации своих выводов о 1,5 миллионах проиндексированных субдоменов.

«Ну, мы были немного ошеломлены первоначальным открытием», — сказал Кинг. «Как человек с опытом работы в Интернете, меня очень беспокоила простота доступа к именам пользователей WP Engine, электронной почте и другой информации».

Он также считал важным обнародовать информацию, учитывая его предыдущие взаимодействия со службой поддержки WP Engine:

Я вел там свой личный блог, поэтому у меня большой опыт работы с системой. Одна большая проблема заключалась в том, что мой фактический ежемесячный человеческий трафик сильно отличался от статистики трафика, которую записывала WP Engine. Очень большая разница, аналитика показывает около 25 тысяч посещений в месяц, а движок WP показывал более 100 тысяч. Я рассказал об этом на Facebook, а однажды и в Twitter, мне сказали, что это от бот-трафика и пауков поисковых систем.

Когда Кинг прокомментировал, что он заблокировал всех обычных ботов, и попросил разъяснить, что трафик его ботов более чем в 5 раз превышает трафик посетителей, он не получил ответа.

«Мы никогда не обсуждали ничего конкретного по вопросу индексации», — сказал Кинг. «Я пошел на поводу у своей интуиции, которая подсказывала мне, что они не дадут мне время суток, если мы не обнародуем это».

Однако Audit WP не первый, кто сообщает о проблемах с поддоменами WP Engine. Хотя эксперт WordPress по SEO Йост де Валк вмешался в пост, чтобы осудить публичное отношение Кинга к ситуации, в апреле прошлого года он написал о том, что, по его мнению, было ошибкой SEO со стороны WP Engine.

Соучредитель WP Engine Бен Меткалф ответил тогда в своем блоге , пояснив, что клиенты могут перенаправлять трафик, поступающий на поддомен WP Engine, на основной домен через файл .htaccess или клиентский портал. Он также пояснил, почему это не делается по умолчанию: «Мы не делаем этого по умолчанию, потому что это помешает нам получить доступ к сайту через поддомен во время обращения в службу поддержки и т. д., если DNS на основном домене выйдет из строя. ”

Йоост де Валк ответил:

Если бы это было действительно так распространено, я бы не рассказал это. Это проблема, это то, о чем вы знаете, потому что для этого есть настройка, но это то, что вы можете и должны полностью предотвратить. Вот что в моих глазах означает «управляемый» в управляемом хостинге.

Основатель WP Site Care Райан Салливан повторил , что эта проблема беспокоит клиентов уже довольно давно:

Я несколько раз поднимал эту проблему в WP Engine по разным каналам. На самом деле именно Роб указал мне на проблему в начале прошлого года, и я ни разу не получил четкого ответа о планах ее решения. И с учетом количества сайтов, которые мы размещаем на WP Engine (я даю им много денег каждый месяц), это законная проблема, которую нужно было решить давным-давно.

Сообщение об аудите WP привлекло внимание к проблеме, которая первоначально обсуждалась в апреле 2013 года, но не получила удовлетворительного ответа от WP Engine. В сообщении Меткалфа, посвященном этой проблеме, говорится, что это обычная практика для всех веб-хостов, которые не используют VirtualHosts .

Предстоящие изменения в движке WP

Когда я разговаривал с Джейсоном Коэном, он подтвердил, что пост побудил их внести некоторые изменения в WP Engine.

«Во-первых, мы вносим изменения в /robots.txt при обслуживании из нашего канонического домена (то есть доменов в стиле ABC.wpengine.com), чтобы пауки не индексировали и не сканировали эти домены». Хотя официальная позиция WP Engine заключается в том, что за то, что они уже делают, SEO-штрафы не предусмотрены, компания решила, что в любом случае внести это изменение — хорошая идея.

«Во-вторых, было подчеркнуто, что наши клиенты должны перенаправить 301-адрес со своих доменов ABC.wpengine.com на свои собственные домены», — сказал Коэн. «Мы согласны, что это лучшая практика. Хотя это тривиально сделать на нашем пользовательском портале, мы не делаем хорошую работу, говорим клиентам, что это хорошая идея».

WP Engine также рассматривает более простой подход, чтобы предложить разработчикам сделать свои промежуточные сайты приватными с помощью какого-либо плагина. Они находятся в процессе создания документа «Передовой опыт», который они включат в свою общедоступную базу знаний. «Мы собираемся заранее разместить ссылку на него на нашем пользовательском портале, чтобы все клиенты могли его увидеть», — сказал Коэн. Статья будет включать предложения со скриншотами, чтобы клиенты были лучше информированы.

Коэн сказал, что если они внесут какие-либо радикальные изменения в продукт, они отправят клиентам электронное письмо. Тем не менее, у них нет планов заранее отправлять электронные письма владельцам 1,5 миллиона субдоменов, которые были проиндексированы Google, учитывая, что некоторые из них намеренно являются общедоступными.

Если ваш сайт находится в списке , найденном Audit WP, и ваш поддомен не предназначен для общего доступа, вы можете дважды проверить файл robots.txt и настроить правильную переадресацию 301. В конечном счете, сколько бы удобств управляемый хост ни предоставлял своим клиентам, ответственность за любые поддомены ложится на владельца сайта.