Индексация сайта — один из важнейших вопросов в SEO. От скорости индексации, зависит, как быстро вы получите долгожданный поисковый трафик.
Основные причины медленной индексации сайта:
- Технические проблемы: дубли, битые ссылки, ошибка 404 и др.
- Сайт закрыт для индексации в поисковых системах.
- Сложная структура сайта, более 5 кликов от главной до конечной страницы.
- Нет внешних ссылок.
- Не обновляется контент/сайт.
Яндекс идет навстречу владельцам сайтов, предлагая решить данную проблему с помощью нового инструмента — Переобход страниц, который способен ускорить индексацию страниц сайта.
Сервис доступен в beta.webmaster.yandex.ru — Инструменты/Переобход страниц
На данный момент, у сайтов есть дневной лимит – только 10 адресов.
Результаты выглядят примерно вот так:
Наблюдения показывают, что робот быстро обходит страницы:
- Добавление страниц — 16:59;
- Изменение статуса на Робот обошел — 17:18;
- Появление в выдаче поисковой системы — 18:00;
Быстроробот Яндекс индексирует страницы между обновлениями поисковой базы, страница попадает в основной индекс после очередного апдейта.
Приоритетный переобход страниц сайта запущен в Яндекс.Вебмастере 20 мая, 12:30
Приоритетный переобход страниц сайта появился в Яндекс.Вебмастере. Можно запросить переобход до 10 страниц в день для каждого подтвержденного сайта.
Страницы, добавленные в этот инструмент, будут переданы индексирующему роботу для приоритетного обхода. Изменения, которые обнаружит робот, будут отражены в результатах поиска с ближайшими обновлениями поисковой базы.
Статусы обработки заявки
В инструменте есть три статуса обработки заявки:
1) «В очереди» — это означает, что страница была передана роботу для обхода, и в течение 3 суток заявка будет обработана.
2) «Робот обошёл» — страница была посещена роботом, а данные о странице в поиске обновятся с последующими обновлениями поисковой базы.
3) «Ошибка» — робот не смог посетить страницу.
Использование
Этот инструмент будет полезен, когда нужно ускорить попадание в поиск новых страниц, например, с только что поступившим товаром или новостью, чтобы сайт стал находиться и по этим темам.
Другой пример — нужно сделать так, чтобы текст в сниппетах был заменен на новый, уже обновленный непосредственно на самой странице.
Кроме того, инструмент предоставляет возможность быстро вернуть выпавшие из поиска страницы из-за неправильной настройки сервера, ограничений в robots.txt или любой другой проблемы с доступностью сайта для индексирующего робота.