Недавно один из наших читателей спросил нас о том, как оптимизировать файл robots.txt для улучшения SEO. Файл Robots.txt сообщает поисковым системам, как сканировать ваш сайт, что делает его невероятно мощным инструментом SEO. В этой статье мы покажем вам, как создать идеальный файл robots.txt для SEO.
^
Что такое файл robots.txt?
Robots.txt – это текстовый файл, который владельцы веб-сайтов могут создать, чтобы сообщить поисковым роботам, как сканировать и индексировать страницы на своем сайте.
Обычно он хранится в корневом каталоге, также известном как основная папка вашего сайта. Базовый формат файла robots.txt выглядит следующим образом:
^
Вы можете иметь несколько строк инструкций, чтобы разрешить или запретить определенные URL-адреса и добавить несколько файлов Sitemap. Если вы не запретите URL-адрес, то поисковые роботы предполагают, что им разрешено его сканировать.
Вот как может выглядеть файл примера robots.txt:
^
В приведенном выше примере robots.txt мы разрешили поисковым системам сканировать и индексировать файлы в нашей папке загрузок WordPress.
После этого мы запретили поисковым роботам сканировать и индексировать плагины и папки администратора WordPress.
Наконец, мы предоставили URL нашего сайта XML.
Вам нужен файл Robots.txt для вашего сайта WordPress?
Если у вас нет файла robots.txt, поисковые системы все равно будут сканировать и индексировать ваш сайт. Однако вы не сможете указать поисковым системам, какие страницы или папки им не следует сканировать.
Это не окажет большого влияния, когда вы начинаете вести блог и у вас мало контента.
Однако по мере роста вашего веб-сайта и наличия большого количества контента вы, вероятно, захотите лучше контролировать процесс сканирования и индексации своего веб-сайта.
Вот почему.
Поисковые боты имеют квоту сканирования для каждого веб-сайта.
Это означает, что они сканируют определенное количество страниц во время сеанса сканирования. Если они не закончат сканирование всех страниц вашего сайта, они вернутся и возобновят сканирование в следующем сеансе.
Это может замедлить скорость индексации вашего сайта.
Это можно исправить, запретив поисковым роботам сканировать ненужные страницы, такие как страницы администратора WordPress, файлы плагинов и папки тем.
Запрещая ненужные страницы, вы сохраняете квоту на сканирование. Это помогает поисковым системам сканировать еще больше страниц на вашем сайте и индексировать их как можно быстрее.
Еще одна веская причина использовать файл robots.txt, когда вы хотите, чтобы поисковые системы не индексировали пост или страницу на вашем сайте.
Это не самый безопасный способ скрыть контент от широкой публики, но он поможет вам предотвратить их появление в результатах поиска.
Как должен выглядеть идеальный файл Robots.txt?
Многие популярные блоги используют очень простой файл robots.txt. Их содержание может варьироваться в зависимости от потребностей конкретного сайта:
^
Этот файл robots.txt позволяет всем ботам индексировать весь контент и предоставляет им ссылку на XML-карты сайта.
Для сайтов WordPress мы рекомендуем следующие правила в файле robots.txt:
^
Это говорит поисковым роботам индексировать все изображения и файлы WordPress. Он запрещает поисковым роботам индексировать файлы плагинов WordPress, область администрирования WordPress, файл readme для WordPress и партнерские ссылки.
Добавляя файлы sitemaps в файл robots.txt, роботы Google упрощают поиск всех страниц на вашем сайте.
Теперь, когда вы знаете, как выглядит идеальный файл robots.txt, давайте посмотрим, как можно создать файл robots.txt в WordPress.
Как создать файл Robots.txt в WordPress?
Есть два способа создать файл robots.txt в WordPress. Вы можете выбрать метод, который лучше всего подходит для вас.
Метод 1: Редактирование файла Robots.txt с помощью Yoast SEO
Если вы используете плагин Yoast SEO, он поставляется с генератором файлов robots.txt.
Вы можете использовать его для создания и редактирования файла robots.txt прямо из вашей админ-панели WordPress.
Просто зайдите на страницу SEO »Инструменты в вашем админ WordPress и нажмите на ссылку Редактор файлов.
^
На следующей странице SEO-страницы Yoast будет показан существующий файл robots.txt.
Если у вас нет файла robots.txt, Yoast SEO создаст для вас файл robots.txt.
^
По умолчанию генератор файлов robots.txt Yoast SEO добавляет следующие правила в ваш файл robots.txt:
^
Важно, чтобы вы удалили этот текст, потому что он блокирует все поисковые системы от сканирования вашего сайта.
После удаления текста по умолчанию вы можете добавить свои собственные правила robots.txt. Мы рекомендуем использовать идеальный формат robots.txt, который мы опубликовали выше.
Закончив, не забудьте нажать кнопку «Сохранить файл robots.txt», чтобы сохранить изменения.
Способ 2. Редактирование файла Robots.txt вручную с использованием FTP
Для этого метода вам понадобится FTP-клиент для редактирования файла robots.txt.
Просто подключитесь к своей учетной записи хостинга WordPress с помощью FTP-клиента.
Оказавшись внутри, вы сможете увидеть файл robots.txt в корневой папке вашего сайта.
^
Если вы его не видите, скорее всего, у вас нет файла robots.txt. В этом случае вы можете просто создать его.
^
Robots.txt – это простой текстовый файл, который означает, что вы можете загрузить его на свой компьютер и отредактировать его с помощью любого текстового редактора, такого как Блокнот или TextEdit.
После сохранения изменений вы можете загрузить их обратно в корневую папку вашего сайта.
Как проверить ваш файл Robots.txt?
После создания файла robots.txt всегда полезно проверить его с помощью инструмента тестирования robots.txt.
Существует множество инструментов для тестирования robots.txt, но мы рекомендуем использовать один из них в консоли поиска Google.
Просто войдите в свою учетную запись консоли поиска Google, а затем переключитесь на старый веб-сайт консоли поиска Google.
^
Это приведет вас к старому интерфейсу консоли поиска Google. Отсюда вам нужно запустить средство тестирования robots.txt, расположенное в меню «Сканирование».
^
Инструмент автоматически загрузит файл robots.txt вашего веб-сайта и выделит ошибки и предупреждения, если они были обнаружены.
Последние мысли
Целью оптимизации вашего файла robots.txt является предотвращение сканирования поисковыми системами страниц, которые не являются общедоступными. Например, страницы в папке wp-plugins или страницы в папке администратора WordPress.
Распространенный миф среди экспертов по SEO заключается в том, что блокировка категорий, тегов и страниц WordPress повышает скорость сканирования и приводит к ускорению индексации и повышению рейтинга.
Это неправда. Это также противоречит правилам Google для веб-мастеров.
Мы рекомендуем вам следовать приведенному выше формату robots.txt, чтобы создать файл robots.txt для вашего сайта.
Мы надеемся, что эта статья помогла вам узнать, как оптимизировать файл WordPress robots.txt для SEO. Возможно, вы также захотите увидеть наше полное руководство по WordPress SEO и лучшие инструменты WordPress SEO для развития вашего сайта.
