Правила индексирования, не описываемые в конфигурационном файле

При индексировании документов по протоколу HTTP Яndex.Server 3.1 поддерживает стандарт исключений для роботов. В соответствии с этим стандартом, правила, управляющие поведением поискового робота, должны располагаться в файле /robots.txt, лежащем в корне Web-сервера.

Детальное описание спецификации файла можно прочитать,например, по адресу: http://www.citforum.ru/internet/search/rbtspec.shtml.

В простейшем виде (разрешено все, кроме директории скриптов) файл robots.txt выглядит следующим образом: User-Agent: * Disallow: /cgi-bin/

Если нужно, чтобы Яndex.Server 3.1 при индексировании вашего сайта не учитывал общие правила для поисковых роботов, модифицируйте robots.txt, добавив специальное правило для User-Agent, заданного при конфигурировании HTTP-запросов. Например, в следующем примере директория скриптов закрывается от всех роботов, кроме робота MyYandexServer, которому открыто все User-Agent: * Disallow: /cgi-bin/ User-Agent: MyYandexServer Disallow:

При написании robots.txt обратите внимание на следующие часто встречающиеся ошибки.

Строка с полем User-Agent является обязательной и должна предшествовать строкам с полем Disallow. Так, приведенный ниже файл robots.txt не запрещает ничего: Disallow: /cgi-bin Disallow: /forum

Пустые строки в файле robots.txt являются значимыми, они разделяют записи, относящиеся к разным роботам. Например, в следующем фрагменте файла robots.txt строка "Disallow: /forum" игнорируется, поскольку перед ней нет строки с полем User-Agent. User-Agent: * Disallow: /cgi-bin Disallow: /forum

Строка с полем Disallow может запретить индексирование документов только с одним префиксом. Для запрета нескольких префиксов нужно написать несколько строк. Например, нижеприведенный файл запрещает индексирование документов, начинающихся с "/cgi-bin /forum", которых, скорее всего, не существует (а не документов с префиксами "/cgi-bin" и "/forum"). User-Agent: * Disallow: /cgi-bin /forum

В строках с полем Disallow записываются неабсолютные, а относительные префиксы. То есть файл: User-Agent: * Disalow: www.myhost.ru/cgi-bin запрещает, например, индексирование документа http://www.myhost.ru/www.myhost.ru/cgi-bin/counter.cgi, но НЕ запрещает индексирование документа http://www.myhost.ru/cgi-bin/counter.cgi

В строках с полем Disallow указываются именно префиксы, а не что-нибудь еще. Так, файл: User-Agent: * Disallow: * запрещает индексирование документов, начинающихся с символа * (которых в природе не существует), и сильно отличается от файла: User-Agent: * Disallow: / который запрещает индексирование всего сайта.

Copyright © 1997 ? 2004 «Яндекс»

Назад	Содержание	Вперед
Директивы конфигурационного файла	Уровень выше	Конфигурация HTTP-запросов

Что вы ищете:

на сайтев интернете

Службы Яндекса:

Маркет - Деньги - Почта - Народ - Новости - Каталог - Директ - Открытки - Отпуск
Энциклопедии - Словарь Лингво - Закладки - Мой Яндекс - Бар - Игрушки - Гостиная

Обратная связь