Новости
 |
27 июля 2010. 15:27
Яндекс запустил новую версию украинского поиска: «Полтава» показывают разную выдачу в регионах страны ...
|
 |
27 июля 2010. 14:23
Объявления через "Бегун" можно разместить тепреь не только в Google Adwords, но и сети тематических сайтов Kavanga и сервисе MobileDirect. ...
|
 |
27 июля 2010. 12:32
Из-за технической ошибки началось отставание в подсчете статистики ...
|
 |
23 июля 2010. 14:54
Выруча компании в долларовом эквиваленте упала впервые за последние 5 лет ...
|
|
22 июля 2010. 20:03
Набор API инструментов позволяет всем желающим выгружать аналитические данные MegaIndex на собственных ресурсах
...
|
 |
22 июля 2010. 11:39
Аналитики рынка не знают, чем объяснить резкий рост доходов социальной сети в кризисный год ...
|
Наши друзья
Справочник
Навигация по справочнику:
English:
A
|
B
|
C
|
D
|
E
|
F
|
G
|
H
|
I
|
J
|
L
|
M
|
N
|
P
|
R
|
S
|
T
|
U
|
V
|
W
|
X
|
Y
Русский:
А
|
Б
|
В
|
Г
|
Д
|
З
|
И
|
К
|
Л
|
М
|
Н
|
О
|
П
|
Р
|
С
|
Т
|
У
|
Ф
|
Х
|
Ц
|
Ч
|
Э
|
Ю
|
Я
Поисковый робот
Поисковый робот еще называют спайдером или пауком. Это являющаяся частью поисковой машины специальная программа, которая осуществляет обход страниц в Интернете для занесения в базу данных поисковой системы информации об этих страницах (ключевых словах).
Поисковый робот, по сути, похож на браузер. Он занимается сканированием содержимого страницы, после чего отправляет содержимое на сервер поисковой машины, затем начинает сканировать следующую страницу. Обычно размер текста, который сканируется поисковым роботом, и глубина проникновения внутрь ресурса, имеет ограничения. Так что может оказаться, что поисковая машина проиндексирует слишком большой сайт не полностью. Помимо обычного поискового робота, есть специализированные роботы, которые для того, чтобы определить, подключен ли проиндексированный сайт к Интернету, простукивают его (роботы-дятлы).
В зависимости от алгоритма поисковой машины определяются критерии нахождения ключевых слов, частота визитов на сайт, порядок, в котором осуществляется обход страниц, осуществляется защита от зацикливания.
Обычно с одной на другую страницу можно переходить по ссылкам, содержащимся на первой, а также на других страницах.
Кстати, обычно в очередь на индексирование пользователь может добавить сайт и самостоятельно. Это не только ускорит процесс индексирования, но и иногда является единственным вариантом для того, чтобы поисковая система узнала о существовании ресурса (например, случае, если на данный сайт не ведут никакие внешние ссылки).
Существует возможность ограничения индексации ресурса. Для этого используется файл robots.txt. Хотя некоторые поисковики данный файл просто игнорируют. Чтобы обеспечить полную защиту от индексации, нужно использовать специальные механизмы. Чаще всего в таких случаях на страницу устанавливают пароль. Защитой может послужить и заполнение регистрационной формы для получения доступа к странице.
Следующий термин: Поисковый спам »
Предыдущий термин: « Поисковый алгоритм
Похожие термины:дорвей
релевантность
мета теги
Также на сайте SeoPro вы можете прочитать интересные статьи о
www.baidu.com
эффективность интернет маркетинга
аналитика веб сайтов
Вы знаете термин, которого нет у нас? Добавьте название и описание термина, мы навсегда разместим благодарность о Вас и вашем интернет-ресурсе.
Добавить можно тут.
