Роботы Яндекса

Яндекс использует несколько видов роботов с разными функциями. Идентифицировать их можно по строке User-agent:

Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот
Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок
Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов
Yandex/1.02.000 (compatible; Win16; F) – робот, индексирующий пиктограммы сайтов (favicons)
Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»
YandexBlog/0.99.101 (compatible; DOS3.30; B) – робот, индексирующий xml-файлы для поиска по блогам.
YandexSomething/1.0 – робот, индексирующий новостные потоки партнеров Яндекс-Новостей.
Кроме того, в Яндексе работает несколько «простукивалок», которые проверяют доступность документов:

Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.

Оригинал : fogmaker.net

Още за четене :

Yandex за руската блогосфераYandex публикува изследване на руската блогосфера. Според него в момента има 3,8 милиона блога на руски език. Ръстът на руската блогосфера продължава да се забавя и ако през периода април ноември 2007 е бил 55% , то последните шест месеца е спаднал само до 23%. Намалял е и броят на активните блогъри които пишат постоянно. Ако [...]...

YandexРусскоязычная поисковая система. На сегодняшний день имеет самую большую базу данных, которая имеет кластерную структуру и размещена на нескольких серверах. У Яндекса достаточно быстрый поисковый робот, после 2-4 часов регистрируемая страница появляется в поисковых результатах. Но это означает лишь то, что страница поставлена в очередь на полную индексацию. После того, как страница проходит полную индексацию, [...]...

Yandex се бори с купуването на връзкиЯндекс съобщи в блога си че предприема мерки за борба с купуването на връзки. Основните методи срещу продавачите на връзки ще бъдат понижаване рейтинга на сайтовете търгуващи с линкове и понижаване на тежестта на връзките към сайта на купувача, което ще направи този метод на позициониране твърде неефективен. До този момент Яндекс толерантно се отнасяше [...]...

YandexYandex – Алгоритм, определяющий релевантность сайтов – наша главная задача, и продолжим над ним работать и дальше Илья Сегалович – Технический директор компании «Яндекс» Вопрос: По образованию Вы геофизик, как с таким образованием Вы работаете в интернет-компании? Илья Сегалович: По-моему, образование – это не панацея. Чем меньше у человека «красивых корочек», тем больше у него [...]...