Новости
 |
27 июля 2010. 15:27
Яндекс запустил новую версию украинского поиска: «Полтава» показывают разную выдачу в регионах страны ...
|
 |
27 июля 2010. 14:23
Объявления через "Бегун" можно разместить тепреь не только в Google Adwords, но и сети тематических сайтов Kavanga и сервисе MobileDirect. ...
|
 |
27 июля 2010. 12:32
Из-за технической ошибки началось отставание в подсчете статистики ...
|
 |
23 июля 2010. 14:54
Выруча компании в долларовом эквиваленте упала впервые за последние 5 лет ...
|
|
22 июля 2010. 20:03
Набор API инструментов позволяет всем желающим выгружать аналитические данные MegaIndex на собственных ресурсах
...
|
 |
22 июля 2010. 11:39
Аналитики рынка не знают, чем объяснить резкий рост доходов социальной сети в кризисный год ...
|
Наши друзья
Справочник
Навигация по справочнику:
English:
A
|
B
|
C
|
D
|
E
|
F
|
G
|
H
|
I
|
J
|
L
|
M
|
N
|
P
|
R
|
S
|
T
|
U
|
V
|
W
|
X
|
Y
Русский:
А
|
Б
|
В
|
Г
|
Д
|
З
|
И
|
К
|
Л
|
М
|
Н
|
О
|
П
|
Р
|
С
|
Т
|
У
|
Ф
|
Х
|
Ц
|
Ч
|
Э
|
Ю
|
Я
Robots.txt
- текстовый файл, записывающий специальные инструкции для поискового робота, ограничивающие доступ к содержимому на http сервере, находящийся в корневой директории веб-сайта и имеющий путь относительно имени самого сайта (/robots.txt).
Файл robots.txt используется добровольно в соответствии со стандартом, принятым в 1994 году.
Он содержит набор инструкций для поисковых машин.
И включает в себя:
- - директива User-agent , которой указываются поисковые системы, для которых сайт открыт для индексации, либо ставится символ "*", то есть регистр не имеет значения);
- - директива Disallow, которая запрещает роботу-поисковику доступ к некоторым частям сайта или сайту целиком;
- - директива Host, которая указывает на главное зеркало сайта.
В русскоязычном сегменте Интернета наиболее актуальна задача создания файла robots.txt для поисковой системы Яндекс, в связи с тем, что Яндекс находится на первом месте среди русскоязычных поисковых систем. Правила заполнения этого файла указаны в соответствующем разделе Яндекса.
Следующий термин: RSS »
Предыдущий термин: « Rambler Media Group
Похожие термины:robots txt
интернет
таргетинг
Также на сайте SeoPro вы можете прочитать интересные статьи о
www.hh.ru
www.qip.ru
роцит
Вы знаете термин, которого нет у нас? Добавьте название и описание термина, мы навсегда разместим благодарность о Вас и вашем интернет-ресурсе.
Добавить можно тут.
