Сегодня Яндекс объявил о завершении работы над новой технологией, которая после внедрения в поиск поможет находить самые свежие документы — через минуты после их появления в интернете. Доля поисковых запросов, которые касаются только что произошедших событий, по статистике Яндекса, составляет от 2% (в обычные дни) до 8% в дни важных событий. Такие запросы Яндекс научился выделять среди общего потока, а для наиболее релевантного ответа на них запустил отдельного робота.

С помощью нового поиского робота с жизнеутверждающим названием Orange (с намеком на «свежевыжатый» контент) Яндекс будет в режиме реального времени обходить самые свежие документы, и индексировать за несколько секунд.

Как известно, ранее в Яндексе самым резвым был быстроробот, который индексировал блоги и новостные сайты по RSS. Но быстрый робот, пишут сотрудники Яндекса Федор Романенко и Екатерина Вебер в корпоративном блоге компании, «был построен по «пакетному» принципу: какое-то время готовил версию индекса с новыми документами, потом выкладывал ее на поиск. Это вносило задержку на время обработки, которую можно было сократить с помощью разных ухищрений для части документов до 20 минут, но нельзя было устранить полностью».

Однако сегодня в сети появились ресурсы, как, например, Твиттер, которые обновляются ежесекундно, поэтому вслед за мировыми гигантами поисковой индустрии (Google, Bing, Yahoo) Яндекс внедрил поиск в режиме реального времени.
Технология действительно пришла с Запада, на это указывает и тот факт, что она была разработана в американском офисе компании Yandex.Labs (Калифорния), в сотрудничестве с разработчиками из московского офиса.

«Кластер Orange Crawler реализован как распределенная вычислительная система: на каждой машине одновременно выполняются сотни небольших задач, результаты их работы в виде маленьких асинхронных сообщений отправляются на другие машины. На всем кластере сегодня обрабатывается более 100 тысяч сообщений в секунду. Подобная архитектура позволяет исключить задержки при обработке Real-Time информации, очень надежна и дает неограниченные возможности к масштабированию кластера» - описывают работу нового робота Федор Романенко и Екатерина Вебер.

Чтобы определять, насколько необходимы результаты поиска в реальном времени для того или иного запроса, Яндекс разработал несколько детекторов. Они анализируют самую разную информацию — например, тематику сообщений в СМИ или рост количества поисковых запросов по той или иной теме.

Российский Google в феврале этого года  объявил, что с помощью кнопки «Прямо сейчас» наши пользователи смогут добавить в выдачу результаты  поиска по ресурсам, обновляемым в режиме реального времени (таким как Твиттер, Facebook и другим).

Интересно, что Яндекс никакой специальной кнопочки пользователям не предложил. Равно как и не заключал с Твиттером и Facebook никаких соглашений о праве мгновенной индексации сообщений пользователей.  Проверив пару-тройку запросов, редакция SEOpro.ru так и не обнаружила в выдаче  Яндекса признаков "свежести", в отличие, например, от результатов поиска в российском Google при выбранном фильтре "Прямо сейчас". Сравните выдачу по запросу "Яндекс":