SUBBAY.RU
Понедельник, 15.10.2018, 22:09
Вход на сайт

Поиск

Архив записей

Мини-чат

Статистика

Онлайн всего: 1
Гостей: 1
Пользователей: 0


00:59
Robots.txt – управляем индексацией сайта

Индексацией сайта любыми поисковыми системами управляется с помощью файла robots.txt, который находится в корневом каталоге сервера. Этот файл указывает поисковым роботам (ботам), какие файлы они должны индексировать, а какие нет.
Robots.txt состоит из записей, который состоят как минимум из двух строк: строка с названием клиентского приложения — User-agent, и одной или нескольких строк, начинающихся с директивы Disallow. Пустые строки в файле robots.txt имеют значение, они разделяют записи, имеющие разные строки User-agent…

User-agent

Строка User-agent служит для указания имени робота. Например, в следующей строке указано название робота Google — «googlebot»:

User-agent: googlebot

Поисковый бот Яндекса — «Yandex»
Поисковый бот Рамблера — «StackRambler»

Названия прочих роботов вы можете найти в логах вашего сервера.
Для запрета индексации файлов и/или папок всем поисковым системам, используется символ подстановки «*»:

User-agent: *

Disallow

Другая часть записи состоит из строк Disallow. Эти строки — установки для данного робота (или для нескольких роботов). Они указывают роботу какие файлы и/или папки запрещено индексировать. В строках с полем Disallow вводить название домена не надо.

Например, следующая директива запрещает роботам индексировать файл «help.htm», находящийся в корневой директории сайта:

Disallow: help.htm

Можно указать название папки. Например, следующая директива запрещает индексацию папки «close», в корневой директории сайта:

Disallow: /close/

Следующая установка запретит ботам индексировать и файл «help.html», и папку «help»:

Disallow: /help

Если установка Disallow будет пустой, то робот будет индексировать все файлы. Как минимум одна установка Disallow должна установлена для каждого поля User-agent, чтобы robots.txt был корректно воспринят поисковыми роботами.

Пример файла robots.txt, в котором всем поисковым системам разрешено полностью индексировать сайт:

User-agent: *
Disallow:

Индексация сайта запрещена всем поисковикам:

User-agent: *
Disallow: /

Запрет на индексацию файла «help.htm» для робота Google — «googlebot»:

User-agent: googlebot
Disallow: help.htm

Комментарии:

Любой текст от знака решетки “#” до конца строки является комментарием и поисковыми системами игнорируется. Пример:

# Hello word
User-agent: «googlebot»
Disallow:

Просмотров: 134 | Добавил: Rockfeller
Всего комментариев: 0
avatar
Copyright SUBBAY.RU © 2018
uCoz