Robots.txt

- текстовый файл, записывающий специальные инструкции для поискового робота, ограничивающие доступ к содержимому на http сервере, находящийся в корневой директории веб-сайта и имеющий путь относительно имени самого сайта (/robots.txt).

Файл robots.txt используется добровольно в соответствии со стандартом, принятым в 1994 году.

Он содержит набор инструкций для поисковых машин.

И включает в себя:

  • - директива User-agent , которой указываются поисковые системы, для которых сайт открыт для индексации, либо ставится символ "*", то есть регистр не имеет значения);
  • - директива Disallow, которая запрещает роботу-поисковику доступ к некоторым частям сайта или сайту целиком;
  • - директива Host, которая указывает на главное зеркало сайта.

В русскоязычном сегменте Интернета наиболее актуальна задача создания файла robots.txt для поисковой системы Яндекс, в связи с тем, что Яндекс находится на первом месте среди русскоязычных поисковых систем. Правила заполнения этого файла указаны в соответствующем разделе Яндекса.


Термины по этой теме: таргетинг, интернет, robots txt


Rambler's Top100