Правильный файл robots txt для wordpress

Правильный файл robots txt для wordpressКаждый владелец сайта понимает важность поисковых систем в его продвижении. Но не каждый знает все аспекты данной науки, а ведь это именно наука, которая носит название SEO.

Возможно, многие владельцы сайтов уже прониклись в SEO, новичкам же, приходится изучать все с самых низов.

SEO – это «наука», которая направлена на чего-либо, с помощью поисковых систем, социальных сетей и т.д. Но сегодня речь пойдет именно о продвижении сайтов на , основным компонентом которого является файл robots txt для wordpress.

Что такое файл robots txt для wordpress

Это файл, который определяет для поисковых роботов, то есть: какие разделы сайта можно редактировать и просматривать, а какие нет.

Данный файл находится в корневой директории вашего сайта. Если же его там нет, то это означает, что сайт просто не индексируется поисковыми роботами. Возникает вопрос, а что такое индексация?

Индексирование в поисковых системах или как его еще называют «веб-индексирование» — процесс внесения данных о сайте поисковым роботом в базу данных.

У каждой поисковой системы, будь то «Google» или «Yandex», есть свой поисковый робот. Этот робот определяет созданный кем-либо сайт, и все сведения о нем заносятся в базу данных. Когда человек пишет поисковый запрос, поисковая система дает ему ссылки на определенные веб-сайты.

Для того, чтобы ваш сайт индексировался поисковыми системами, нужно правильно его оптимизировать. За это, главным образом отвечает всеми любимый  файл robots.txt, который обязательно должен присутствовать на любом сайте, который хочет получить трафик.

В нем хранится информация, которая будет говорить роботу о том, что нужно индексировать, а что нельзя. Данная информация просто необходима роботу, и, если она написана правильно, то есть большая вероятность того, что сайт будет выскакивать в поиске.

По умолчанию, при создании сайта на движке WordPress, файл robots.txt уже есть в корневой директории. Но в большинстве случаев, он либо пустой, либо написан неправильно. Возможно также, что его совсем нет.

В этом случае его необходимо правильно создать и через FTP-клиент, непосредственно, загрузить в корневую директорию. Сам файл представляет собой набор букв и символов, сохраненный в блокноте и имеющий расширение «txt».

Давайте разберем каждый элемент по порядку, для того, чтобы четко понять, какую функцию имеет каждый из них.

  1. Выбираем робота

Чтобы отследить последовательность действий, разбор файла robots txt для wordpress будет идти с первой строки. Команда «User-agent» — это запрос к определенному роботу некой поисковой системы. Даже несмотря на то, что абсолютно каждая поисковая система имеет своего робота, робот может подразделятся на несколько других роботов. К примеру, робот Яндекса имеет в себе два механизма: YandexMedia и YandexImages. Первый отвечает за мультимедиа файлы, второй – индексирует только картинки.

Первая строка будет иметь следующий вид:

User-agent: *

После User-Agents стоит звездочка, это означает, что данный запрос направлен на всех роботов, независимо от поисковой системы. А если ставить так: User-agent: Yandex — это правило относится только к Яндексу.

Вот пример правильного файла robots.txt:


User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed

Disallow: /tag User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /tag
Host: ваш сайт.ru
Sitemap: http://ваш сайт.ru/sitemap_index.xml.gz
Sitemap: http://ваш сайт.ru/sitemap_index.xml

У меня стоит именно этот robots.txt и проблем с индексацией ни каких нет. По ссылки ниже вы можете скачать готовый файл, только не забудьте поменять последние три строчки в каждом столбике на имя своего сайта и адрес по которому находится ваша карта в формате xml и карта для людей.

  1. Директивы в robots.txt.

После того, как мы, непосредственно, обратились к роботу, нужно дать ему команду. Команды бывают совершенно разные, но имеют свои отличительные особенности. После каждой ставится знак «:» — двоеточие. После него пишется путь к папке, которую либо можно индексировать, либо нельзя.

Disallow: — полный запрет на индексацию страницы, раздела или регулярного выражения, что также встречается довольно нередко. Вы, как бы, сообщаете роботу: «В эту папку не заходи, там нет ничего интересного».

Данная команда просто необходима для блога на WordPress, так как этот движок имеет ряд папок, индексацию которых, проводить категорически нельзя. Возникает вопрос, а что же будет если роботу ничего не запрещать. Ответ единственный: блог никогда не сможет попасть в поисковую выдачу.

Правильный файл robots txt можно легко скачать по следующей ссылке: «файл robots txt для wordpress»

Рассмотрим следующие команды: Allow, Host, Sitemap. Начнем с первой. Allow – антипод команде Disallow. То есть, если Disallow – запрещала, то Allow – разрешает. Чтобы немного проникнутся в атмосферу SEO, примерный вид, как пишутся команды в файл Robots.txt:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /feed/

С каждой новой строчки новая команда. Это надо запомнить на всю жизнь, так как данная терминология широко применятся и других аспектах продвижения блога на WordPress.  Вернемся к командам. Применяя команду Allow, вы как бы говорите роботу: «Эту папку нужно немедленно проиндексировать!».

В основном используются только эти две команды, но иногда применяются Host и Sitemap. Host – это указание адреса блога, которое идентично доменному имени.

Host: — это указание основного хоста или адреса вашего сайта (совпадает с доменным именем сайта). SiteMap: — это указание карты вашего сайта в формате XML, но эта тема отдельного разговора. К слову, карта полностью отвечает за структура материалов на блоге, его разметку и т.д. Она также обязательно должна быть.

Основная информация о оформлении файла robots txt для wordpress была написана выше. Для того, чтобы правильно составить файл, ее вполне достаточно. Ну или скачать уже готовый файл выше по ссылке.


Если статья вам была полезна, поделитесь ей со своими друзьями.  

  

Это должно вас заинтересовать:

Обсуждение: 2 комментария

  1. Виктор:

    Здравствуйте Дмитрий, Действительно этот файл по своей сути самый главный. Вся прелесть его в том, что можно с помощью его управлять поисковыми роботами.

    Ответить
    1. Дмитрий:

      И я так считаю, что он может и не самый главный, но важен он это однозначно.

      Ответить

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

© 2017 Сам Веб-мастер | Автор: Дмитрий Марченков | Дизайн и поддержка: GoodwinPress | Разрешается копирование материалов без изменений, с указанием имени автора и гиперссылки на сайт.