Правильный robots.txt для WordPress

gallery_1_2_3530[1]

Как создать правильный robots.txt для WordPress?

На самом деле это очень просто. Для этого нам понадобится любой текстовой редактор, в том числе подойдёт и обычный текстовой блокнотик.

И так, создаём у себя на диске текстовой файл с названием robots.txt. Это фаил играет большую роль для поисковых систем. С помощью файла robots.txt поисковые роботы определяют нужно ли индексировать тот или иной документ расположенный на сервере. Более того с помощью этого файла можно запретить или разрешить индексацию целого раздела (каталога) сайта, указать путь к xml-карте сайта, установить значение для основного зеркала вашего сайта. В общем правильный robots.txt для WordPress очень полезная штука.

Кратко об инструкциях роботса

Существует несколько основных инструкций этого файла:

  • User-agent: — указывает для какого поискового робота действуют последующие инструкции. Знак — * (звёздочка) означает для всех поисковых роботов.
  • Disallow: — инструкция запрещает доступ к файлу или же каталогу.
  • Allow: — инструкция разрешает доступ к файлу или же каталогу.
  • Host: — задаёт основное зеркало сайта. К примеру адрес сайта может быть с www и без них, с помощью указанной инструкции мы можем указать какой адрес является основным.
  • Sitemap: — указываем путь к нашей карте сайта. К примеру «Sitemap: http://www.school-wp.net/sitemap_index.xml» — это путь к карте нашего сайта.

Пример правильного robots.txt для WordPress

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.yourdomain.ru
 
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
 
Sitemap: http://yourdomain.ru/sitemap.xml

Вы можете скопировать этот текст и вставить в свой robots.txt, только не забудьте вместо yourdomain.ru указать доменное имя вашего сайта. Обратите внимание, что данный пример создан именно для системы управления контентом WordPress.

После всего проделанного, скопируйте указанный файл в корневую директорию вашего сайта и на этом пожалуй всё. Ваш правильный robots.txt для WordPress готов.

Оставить комментарий


один × 4 =