| Жемчужина | Дата: Вторник, 04.09.2012, 18:42 | Сообщение # 1 |
|
Рядовой
Группа: Администраторы
Сообщений: 1
Статус: Offline
| Robots.txt — представляет собой текстовый файл, который хранится в корневом каталоге сайта. В нем содержатся инструкции для поисковиков. Этот файл дает возможность запрета на индексацию конкретных страниц или разделов ресурса, указания основного зеркала сайта, а также пути к его карте.
Robots.txt позволяет закрыть от индексации технические разделы веб-проекта. Ведь в случае, если они у Вас открыты, поисковая система выкинет их из индекса, при этом она может захватить и полезные страницы, что, естественно, крайне не желательно.
Как создать robots.txt?
Создание robots.txt можно осуществить при помощи обычного блокнота. Затем его необходимо поместить в корень Вашего ресурса. После того, как создание robots.txt завершено, первый шаг, который сделает робот поисковой машины, зайдя на Ваш сайт, это прочтет созданный файл, а точнее инструкции, которые в нем находятся.
Таким образом, файл разрешает индексировать содержимое папки /category/staty/ и /wp-content/uploads/. И запрещает индексировать другие, нижеперечисленные, папки. А строка Sitemap: http://gemchug.at.ua/sitemap.xml указывает на местонахождение нашей карты сайта.
Настройка robots.txt
Стоит заметить, что настройка robots.txt осуществляется с помощью двух основных директив User-agent и Disallow. Благодаря первой директиве определяется, какой поисковый робот будет производить запрет индексации, который прописывается во второй директиве. Чтобы открыть какой-либо файл для индексации, то нужно использовать команду Allow.
Создание robots.txt и его настройка подразумевает использование и других директив.
Директива Host применяется в случае, если у Вашего ресурса имеется несколько зеркал. Она позволяет указывать основное зеркало, чтобы не допустить его присутствия в поисковой выдаче.
Директива Sitemap представляет собой команду, помогающую поисковому роботу определять место нахождения карты сайта.
Директива Crawl-delay задерживает загрузку страниц веб-сайта поисковым роботом. Это полезно, когда ваш сайт состоит из большого количества страниц.
Директива Request-rate предназначена для осуществления периодичности загрузки страниц роботом поисковой системы.
Директива Visit-time отвечает за промежуток времени, за который роботу разрешается производить загрузку страниц. Это время должно быть выставлено по Гринвичу.
Обязательно необходимо помнить, что неправильные настройки robots.txt чреваты тем, что к индексации могут быть представлены страницы, которую содержат конфиденциальную информацию о пользователях сайта. Проверить правильность произведенных настроек можно с помощью сервиса Яндекс.Вебмастер.
|
| |
|
|
