Добрый день друзья.
В этой статье я хотел бы затронуть тему создания правильного файла robots.txt. Для начала давайте разберемся что это за такой файл и нужен ли он вообще.
Файл robots.txt — это текстовый файл, размещенный в директории вашего сайта на хостинге. В файле robots.txt задаются своего рода инструкции поисковым роботам по индексации интернет-ресурса.

robots

Для создания файла robots.txt необходим обычный тестовый файл. Он может быть пустым, если Вы не собираетесь ничего закрывать от индексации.
Но я настоятельно рекомендую использовать вот такой вариант robots.txt:

ser-agent: *

Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: сайт.ru
Sitemap: http://сайт.ru/sitemap.xml.gz
Sitemap: http://сайт.ru/sitemap.xml

ВАЖНО!!!

В этом коде необходимо в последних трех строках обязательно вписать название своего сайта

Host: сайт.ru
Sitemap: http://сайт.ru/sitemap.xml.gz
Sitemap: http://сайт.ru/sitemap.xml

Почему использовать именно этот код?
Наверняка Вы замечали такую ситуацию, когда одни и те же посты, статьи индексируются как по отдельности, так и частично или полностью появляются на страницах категорий, архивов, меток, в поисковой выдаче. Т.е. при сканировании вашего сайта, робот обнаруживает один и тот же контент по разным адресам, что может быть расценено им как дублирование контента. А это чревато санкциями со стороны поисковых систем. Чтобы этого не происходило, необходимо закрывать от индексации такие разделы, как архив или метки, зачем нам повторно индексировать контент данных разделов, тогда как он уже проиндексирован по отдельности?!

Используйте правильный robots.txt для WordPress, чтобы в дальнейшем не иметь проблем с индексацией.

У меня все. Еще услышимся!