Robots.txt

Правильный заголовок этой статьи — robots.txt. Он показан некорректно из-за технических ограничений.

robots.txt — файл ограничения доступа к содержимуму роботам. Файл должен находится в корне сайта (т.е. иметь путь относительно имени сайта /robots.txt).

Использование файла добровольно, стандарт был принят консенсусом 30 января 1994 года в списке рассылки robots-request@nexor.co.uk и с тех пор используется большинством известных поисковых машин.


Содержание

Описание структуры

Файл состоит из записей. Записи разделяются одной или более пустых строк (признак конца строки символы CR,CR+LF, LF). Каждая запись содержит непустые строки следующего вида: <field>:<optionalspace><value><optionalspace>, где filed - это или User-agent или Disallow, а filed - значение. Optionalspace - пробел (которого может и не быть).

Источники

Ссылки

См. также

 
Начальная страница  » 
А Б В Г Д Е Ж З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Ы Э Ю Я
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
0 1 2 3 4 5 6 7 8 9 Home