Disallow — запрещающая директива, которая чаще всего используется в файле robots.txt. Disallow запрещает индексацию сайта или его части, в зависимости от пути, указанного в параметре директивы Disallow. Пример как в robots.txt запретить индексацию сайта: User-agent: * Disallow: / Данный пример закрывает от индексации весь сайт для всех роботов. В параметре директивы Disallow допускается использование специальных символов * и $.

Используйте эту директиву, чтобы запретить индексирование разделов сайта или отдельных страниц. Например:

  • страницы с конфиденциальными данными;
  • страницы с результатами поиска по сайту;
  • статистика посещаемости сайта;
  • дубликаты страниц;
  • разнообразные логи;
  • сервисные страницы баз данных.

Примеры:

User-agent: Yandex
Disallow: / # запрещает обход всего сайта

User-agent: Yandex
Disallow: /catalogue # запрещает обход страниц, адрес которых начинается с /catalogue

User-agent: Yandex
Disallow: /page? # запрещает обход страниц, URL которых содержит параметры

В соответствии со стандартом перед каждой директивой User-agent рекомендуется вставлять пустой перевод строки.

Символ # предназначен для описания комментариев. Все, что находится после этого символа и до первого перевода строки не учитывается.