Индексация с помощью сервиса Google Sitemaps и Yahoo Urllist
Одна из самых распространенных проблем с рейтингами коммерческих сайтов – то, что не все части их сайтов индексируются поисковыми системами.

Причины для этого могут быть разными – от слишком сложных URL до слишком медленной работы сервера и неправильной структуры внутренних ссылок. А если Google не может найти ваши страницы – то они никогда не попадут в результаты поиска.

Поисковым сайтам выгодно иметь в базе данных как можно больше страниц хорошего качества, так как это дает пользователю лучший результат. Довольные пользователи – это больше трафика. Больше трафика – это больше прибыли от рекламы. Поэтому для упрощения индексации страниц и Google, и Yahoo предприняли некоторые шаги в помощь вебмастерам, которые и рассматриваются в данной статье.

Сначала было Google Sitemaps
Прежде всего, этим летом Google объявил о запуске сервиса Google Sitemaps, который позволяет владельцам сайтов создавать файлы XML или текстовые файлы со списком всех URL на сайте, которые они хотели бы видеть в базе Google. В каждом файле может быть до 50,000 адресов, а если у вас их больше, то можно просто создать еще одни файл.

Этот инструмент служит для дополнения той информаций, которую найдет на сайте Googlebot, поисковый робот-спайдер Google. Если сайт непросто индексировать, составление такого файла может помочь в добавлении нужных вам страниц в базу данных Google и в результаты поиска

Сервис бесплатен, и прост в использовании. Хотя находится в тестовом режиме и, соответственно, никаких гарантий не дает. Боле подробно см. https://www.google.com/webmasters/sitemaps/

Yahoo Urllist
Yahoo уже давно предлагает бесплатную самостоятельную индексацию. Зарегистрированные пользователи могут добавлять не более одного URL за раз. Гарантии индексации нет, и проверить, попал ли адрес в базу данных можно лишь, изучив результаты поиска Yahoo по вашему сайту.

Если компания хочет, чтобы в базе данных Yahoo было большое количество URL ее сайта, она может воспользоваться системой платного включения Yahoo Search Submit, которая гарантирует индексацию и появление сайта в естественных результатах поиска (см. http://searchmarketing.yahoo.com/srchsb/ ). Эти результаты будут появляться вперемешку с прочими. С вас возьмут деньги за каждый URL, а также за каждый клик по нему. При этом в отличие от платных ссылок на правах рекламы, как утверждает Yahoo, у размещенных таким образом ссылок рейтинг не выше чем у найденных поисковым роботом. За ваши деньги вы получаете лишь гарантию попаданию в результаты поиска и обновление ссылок каждые 48 часов.

Можно также уплатить Yahoo 299 долларов за год и поместить ваш домен в раздел Yahoo Directory. Но даже оплатив эту услугу, вы не получаете гарантии, что домен будет принят, а также что будут использованы предложенные вами название, описание и категория. Ссылки, отправляемые в Yahoo Directory, автоматически попадают и обычную базу данных. Заметим, что по поводу ценности нахождения ссылки собственно в разделе Yahoo Directory эксперты высказывает самые противоположные мнения.

Потом было Yahoo Urllist
Возможность бесплатно индексировать URLы в больших количествах была впервые анонсирована Yahoo на конференции Search Engine Strategies в Сан Хосе, на семинаре Тима Майера по индексации.

Раньше сайты попадали в базу данных только с помощью поискового робота Slurp или вручную по одному. Теперь же Yahoo предлагает возможность добавить сразу много URL с помощью бесплатного сервиса по адресу http://submit.search.yahoo.com/free/request.

Для этого потребуется зарегистрироваться на Yahoo, что также бесплатно.
Как же это работает?
Создайте список всех URL, которые вы хотите индексировать, в виде текстового файла. Дайте файлу название типа urllist.txt (это предлагает Yahoo’). Вы также можете создать сжатый файл, дав ему имя urllist.gz.

Пример:

http://www.domainname.com/urllist.txt .

Если вы уже делали текстовый файл со списком URL для Google Sitemaps, можете использовать его же и для Yahoo.

Положите файл в главную директорию на сайте и отправьте его адрес в форме отправки:

http://submit.search.yahoo.com/free/request.

При использовании платного сервиса Search Submit вы гарантированно попадете в базу данных и данные об URL будут обновляться каждые 48 часов. При бесплатной индексации гарантий нет и обновления также не гарантированны. И это важно, ведь если какая-то часть сайта не в базе, вы потеряете значительную часть полезного трафика. При отправке списка адресов сайта в Google и Yahoo никаких побочных эффектов не отмечается, а рейтинги имеют шанс значительно подняться, так как больше станиц попадет в результаты поиска.