Как создать robots.txt?

Жемчужина — Tue, 04 Sep 2012 14:42:55 GMT

Robots.txt — представляет собой текстовый файл, который хранится в корневом каталоге сайта. В нем содержатся инструкции для поисковиков. Этот файл дает возможность запрета на индексацию конкретных страниц или разделов ресурса, указания основного зеркала сайта, а также пути к его карте.

Robots.txt позволяет закрыть от индексации технические разделы веб-проекта. Ведь в случае, если они у Вас открыты, поисковая система выкинет их из индекса, при этом она может захватить и полезные страницы, что, естественно, крайне не желательно.

Как создать robots.txt?

Создание robots.txt можно осуществить при помощи обычного блокнота. Затем его необходимо поместить в корень Вашего ресурса. После того, как создание robots.txt завершено, первый шаг, который сделает робот поисковой машины, зайдя на Ваш сайт, это прочтет созданный файл, а точнее инструкции, которые в нем находятся.

Таким образом, файл разрешает индексировать содержимое папки /category/staty/ и /wp-content/uploads/. И запрещает индексировать другие, нижеперечисленные, папки. А строка Sitemap: http://gemchug.at.ua/sitemap.xml указывает на местонахождение нашей карты сайта.

Настройка robots.txt

Стоит заметить, что настройка robots.txt осуществляется с помощью двух основных директив User-agent и Disallow. Благодаря первой директиве определяется, какой поисковый робот будет производить запрет индексации, который прописывается во второй директиве. Чтобы открыть какой-либо файл для индексации, то нужно использовать команду Allow.

Создание robots.txt и его настройка подразумевает использование и других директив.

Директива Host применяется в случае, если у Вашего ресурса имеется несколько зеркал. Она позволяет указывать основное зеркало, чтобы не допустить его присутствия в поисковой выдаче.

Директива Sitemap представляет собой команду, помогающую поисковому роботу определять место нахождения карты сайта.

Директива Crawl-delay задерживает загрузку страниц веб-сайта поисковым роботом. Это полезно, когда ваш сайт состоит из большого количества страниц.

Директива Request-rate предназначена для осуществления периодичности загрузки страниц роботом поисковой системы.

Директива Visit-time отвечает за промежуток времени, за который роботу разрешается производить загрузку страниц. Это время должно быть выставлено по Гринвичу.

Обязательно необходимо помнить, что неправильные настройки robots.txt чреваты тем, что к индексации могут быть представлены страницы, которую содержат конфиденциальную информацию о пользователях сайта. Проверить правильность произведенных настроек можно с помощью сервиса Яндекс.Вебмастер.