Правильный файл robots.txt для wordpress

robots

Многие не до оценивают значимость файла robots.txt.
Именно этот файл отвечает за индексацию Вашего сайта в поисковых системах. Многие новички не знают как правильно его составитm. Я хочу предложить вариант файла robots.txt для сайтов, созданных на wordpress. Я сам его использую как и многие другие. Файл универсален. Просто создайте файл с названием robots.txt и скопируйте в него следующее:



User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /tag
Host: mydomain.ru

Sitemap: http://mydomain.ru/sitemap.xml
Sitemap: http://mydomain.ru/sitemap.xml.gz




Вместо mydomain.ru вставляйте свой домен.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *