Файл robots.txt для сайтов на WordPress
Создаём файл robots.txt
Приставка txt указывает, что это простой текстовый файл. Заходим в корень сайта (диспетчер файлов или менеджер файлов), жмём на строку «Создать новый файл» — в открывшемся справа маленьком окошке прописываем имя файла robots.txt
Так создаются вообще все файлы и папки сайта
При нажатии на опцию «Создать», файл будет создан и появится в общем списке файлов и папок вашего сайта. Этот файл пока что пустой. Вы его можете оставить пустым. Это будет означать, что вами не закрыто от индексации ровно ничего. Вы предписываете поисковым роботам индексировать все подряд, без исключений.
Заставлять поисковых ботов сканировать каждый раз весь сайт целиком от корки до корки, это неграмотно и неправильно; поисковики не любят такие сайты, занижая им рейтинговую оценку.
Если вы не собираетесь исключать из индексации ничего (никакие разделы, рубрики, страницы, файлы), то зачем тогда было создавать файл robots.txt ? В этом не было бы никакого смысла. Я предоставлю версию файла robots.txt для WordPress (demoi.ru вы замените на ваш домен):
Файл robots.txt пример
User-agent: YandexBlog
Disallow:
User-Agent: Googlebot
Disallow:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: / error.html
Disallow: / systemem /esy.html
Disallow: /forum/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /valid/
Disallow: /cgi-bin
Disallow: /addon
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: /page
Disallow: /pdf/
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /?feed=
Disallow: /*?*
Disallow: /comments/
Disallow: */comments/
Disallow: /?s=
Host: www.demoi.ru
Sitemap: /informaciya/sitemap-kak-sozdat-kartu-sajta.html
В этой записи следующие значения
- User-agent: * — это обращение ко всем поисковым роботам
- User-agent: YandexBlog — это конкретное обращение к Яндексу
- Googlebot — это прямое обращение к ПС Гугла (Google)
Disallow: / — это подсказка роботам, чего не нужно индексировать в нашем сайте
Allow: разрешает индексацию той или иной области сайта (эта командная строка всегда стоит в списке выше, чем директива Disallow)
Host: указывает главное зеркало сайта (основной url); и тогда все остальные имена домена не будут индексироваться (если блог является поддоменом, то www. в строке Host: уберите)
В нормальном файле robots.txt всегда указывается наличие и нахождение файла «Sitemap» — карты сайта
Файл robots.txt для сайтов на WordPress
В этой записи представлен минимум, который можно запретить. Общих правил составления запретов не существует.
Мы составили файл robots.txt для сайта на WordPress, чтобы управлять ПСами поисковых систем.
Нами запрещены к индексации:
- страницы ошибок, которые гипотетически могут возникнуть на сайте;
- исключили информацию из некоторых папок;
- наложили запрет на индексирование папки valid и всех вложенных файлов;
- исключили страницы с комментариями,
- фиды, трекбэки, архивы, категории, теги, плагины, шаблон темы, административную и техническую область сайта.
Если этот список файла robots.txt вам кажется оптимальным, скопируйте его, подставив действительное имя домена вашего сайта и вставьте эту запись в редакторе файла, сохранив ее. Теперь ваш файл robots.txt не будет пустым.
Ну, и последний штрих, разрешение для файла robots.txt нужно выставить 666.
