Subbay.ru
Среда, 25.04.2018, 18:13
Мини-чат

Поиск

Вход на сайт

Архив записей

Статистика

Онлайн всего: 2
Гостей: 2
Пользователей: 0

2017 » Ноябрь » 25 » Robots.txt – управляем индексацией сайта
00:59
Robots.txt – управляем индексацией сайта

Индексацией сайта любыми поисковыми системами управляется с помощью файла robots.txt, который находится в корневом каталоге сервера. Этот файл указывает поисковым роботам (ботам), какие файлы они должны индексировать, а какие нет.
Robots.txt состоит из записей, который состоят как минимум из двух строк: строка с названием клиентского приложения — User-agent, и одной или нескольких строк, начинающихся с директивы Disallow. Пустые строки в файле robots.txt имеют значение, они разделяют записи, имеющие разные строки User-agent…

User-agent

Строка User-agent служит для указания имени робота. Например, в следующей строке указано название робота Google — «googlebot»:

User-agent: googlebot

Поисковый бот Яндекса — «Yandex»
Поисковый бот Рамблера — «StackRambler»

Названия прочих роботов вы можете найти в логах вашего сервера.
Для запрета индексации файлов и/или папок всем поисковым системам, используется символ подстановки «*»:

User-agent: *

Disallow

Другая часть записи состоит из строк Disallow. Эти строки — установки для данного робота (или для нескольких роботов). Они указывают роботу какие файлы и/или папки запрещено индексировать. В строках с полем Disallow вводить название домена не надо.

Например, следующая директива запрещает роботам индексировать файл «help.htm», находящийся в корневой директории сайта:

Disallow: help.htm

Можно указать название папки. Например, следующая директива запрещает индексацию папки «close», в корневой директории сайта:

Disallow: /close/

Следующая установка запретит ботам индексировать и файл «help.html», и папку «help»:

Disallow: /help

Если установка Disallow будет пустой, то робот будет индексировать все файлы. Как минимум одна установка Disallow должна установлена для каждого поля User-agent, чтобы robots.txt был корректно воспринят поисковыми роботами.

Пример файла robots.txt, в котором всем поисковым системам разрешено полностью индексировать сайт:

User-agent: *
Disallow:

Индексация сайта запрещена всем поисковикам:

User-agent: *
Disallow: /

Запрет на индексацию файла «help.htm» для робота Google — «googlebot»:

User-agent: googlebot
Disallow: help.htm

Комментарии:

Любой текст от знака решетки “#” до конца строки является комментарием и поисковыми системами игнорируется. Пример:

# Hello word
User-agent: «googlebot»
Disallow:

avatar
Бегущая строка в HTMLWWW.SUBBAY.RU
Copyright Subbay.ru © 2018
uCoz