Subbay.ru
Четверг, 23.11.2017, 17:11
Мини-чат

Вход на сайт

Архив записей

Статистика

Онлайн всего: 1
Гостей: 1
Пользователей: 0

Главная » 2016 » Август » 12 » Robots.txt - что это такое и с чем его едят?
23:33
Robots.txt - что это такое и с чем его едят?

robots.txt — это текстовый файл, который предназначен для скрытия содержимого веб-ресурса от поисковых роботов. Более того, с помощью него можно указывать «зеркало» сайта, а также указывать интервал времени, через который поисковик будет постоянно индексровать сайт.

robots.txt состоит из набора инструкций для поисковых машин со своим синтаксисом. Я не стал приводить в этой статье правила написания этого файле, просто несколько очень типичных примеров, которыми можно быстро воспользоваться.

Файл robots.txt должен лежать в корневой директории для правильного нахождения поисковиком. Вы можете создать его с помощью обычного текстового редактора. Этот стандарт был принят консорциумом 30 января 1994 года и с тех пор используется большинством известных поисковых машин таких, как: google, yandex, yahoo.

Итак, типичные случаи:

1. Разрешить всем поисковикам индексировать ваш ресурс

User-agent: *
Disallow:

2. Запретить всем роботам посещать ваш ресурс

User-agent: *
Disallow:/

3. Запретить доступ к определенному каталогу /cms/

User-agent: *
Disallow:/cms/

4. Запретить Google читать определенный каталог

User-agent: Google
Disallow:/cms/

5. С недавних пор стало очень популярно создавать файл sitemap.xml, который указывает на карту вашего сайта. Изначально он был придуман компанией Google, но затем и другие поисковики стали обращать на него внимание. Так вот, в robots.txt мы можем задавать путь к sitemap.

User-agent: *
Sitemap: http://www.yoursite.ru/sitemap.xml

6. Помните я говорил про интервал индексации. В этом примере мы устанавливаем время, которое робот должен выдерживать между загрузкой страниц. Если робот будет считывать страницы слишком часто, это может привести к излишней нагрузке на сервер.

User-agent: *
Crawl-delay: 10
Просмотров: 19 | Добавил: Rockfeller
Всего комментариев: 0
avatar
Бегущая строка в HTMLWWW.SUBBAY.RU
Copyright Subbay.ru © 2017
uCoz