Новости
|
3 февраля 2012. 15:16
Расставшись с ICQ, «Яндекс» заключил договор о сотрудничестве со Skype ...
|
 |
3 февраля 2012. 15:01
Социальная сеть Одноклассники, проект Mail.Ru Group, вводит на сайте расширенные настройки публичности ...
|
|
3 февраля 2012. 14:39
Сервис «Рамблер-Новости» будет вести три прямые трансляции с московских митингов в эту субботу, 4 февраля ...
|
|
3 февраля 2012. 12:56
13-14 марта пройдет конференция i-СOMference, посвященная социальным сетям, интернет-СМИ и мобильным технологиям ...
|
 |
3 февраля 2012. 12:45
Net Applications: доля IE поднялась на фоне снижения популярности Chrome ...
|
 |
3 февраля 2012. 12:40
Компания Билла Гейтса попыталась расширить свою аудиторию за счёт пользователей конкурента ...
|
Советуем посмотреть:
регистрация оффшоров, гонконгостров Бали отели
новый календарь forex
Справочник
Навигация по справочнику:
English:
A
|
B
|
C
|
D
|
E
|
F
|
G
|
H
|
I
|
J
|
L
|
M
|
N
|
P
|
R
|
S
|
T
|
U
|
V
|
W
|
X
|
Y
Русский:
А
|
Б
|
В
|
Г
|
Д
|
З
|
И
|
К
|
Л
|
М
|
Н
|
О
|
П
|
Р
|
С
|
Т
|
У
|
Ф
|
Х
|
Ц
|
Ч
|
Э
|
Ю
|
Я
Robots.txt
- текстовый файл, записывающий специальные инструкции для поискового робота, ограничивающие доступ к содержимому на http сервере, находящийся в корневой директории веб-сайта и имеющий путь относительно имени самого сайта (/robots.txt).
Файл robots.txt используется добровольно в соответствии со стандартом, принятым в 1994 году.
Он содержит набор инструкций для поисковых машин.
И включает в себя:
- - директива User-agent , которой указываются поисковые системы, для которых сайт открыт для индексации, либо ставится символ "*", то есть регистр не имеет значения);
- - директива Disallow, которая запрещает роботу-поисковику доступ к некоторым частям сайта или сайту целиком;
- - директива Host, которая указывает на главное зеркало сайта.
В русскоязычном сегменте Интернета наиболее актуальна задача создания файла robots.txt для поисковой системы Яндекс, в связи с тем, что Яндекс находится на первом месте среди русскоязычных поисковых систем. Правила заполнения этого файла указаны в соответствующем разделе Яндекса.
Следующий термин: RSS »
Предыдущий термин: « Rambler Media Group
Похожие термины:robots txt
интернет
таргетинг
Также на сайте SeoPro вы можете прочитать интересные статьи о
www.hh.ru
www.qip.ru
роцит
Вы знаете термин, которого нет у нас? Добавьте название и описание термина, мы навсегда разместим благодарность о Вас и вашем интернет-ресурсе.
Добавить можно тут.
