Был у меня такой случай, когда нужно было быстро удалить сайт из индекса, так вот, если вы запретите индексацию всего сайта в файле robots.txt через директиву Dissalow: /, то изменения вступят в силу только через некоторое время, а точнее через несколько апдейтов.
Почему так происходит?
Все это связано с тем, что файл robots.txt носит чисто рекомендательный характер и поисковики не всегда ему следуют. Интересно то, что при сильных поведенческих или ссылочных факторах поисковые системы могут запросто проигнорировать этот параметр.
Решение
Если вы хотите закрыть сайт или его страницы от индексации, лучше использовать мета теги.
<meta name=»robots» content=»noindex,nofollow»/> или <meta name=»robots» content=»none»/>
none – запрет на индексацию и следование по ссылкам, эквивалентно сочетанию noindex,nofollow
Ускоряем процесс удаления страниц из индекса
Будем удалять содержимое сайта из индекса постранично при помощи сервиса «Удалить URL» от Яндекса, который расположен по адресу http://webmaster.yandex.ua/delurl.xml
В строку вставляем URL страницы и нажимаем кнопку «Удалить».
Важно!
Удаленный URL не будет индексироваться роботами Яндекса, но может встречаться в результатах поиска, если на него ссылаются другие сайты.