Для этого нам нужен мета-тег robots, находящийся в разделе
на каждой странице сайта. Если его нет, то добавляем следующую конструкцию:meta name="robots" content="noindex,follow"
Как это работает
- noindex — запрещает индексировать всю страницу целиком
- follow — разрешает переход по по ссылкам на другие страницы
Что получаем мы
Данная страница исключена из индекса т.к. на это есть веские причины — дубль, техническая страница, да мало ли что еще. Но в то же время на данной странице есть ссылки, по которым мы разрешаем переходить, т.к. там может быть интересная инфа.
Таким образом боты будут бегать по закрытым страницам и учитывать ссылки, а контент в выдаче отображаться не будет.
Этот прием отлично подходит для закрытия дублей отдельных страниц. Если их много, то лучше закрыть через robots.txt.