Блокировка индексирования страниц Друпал сайта

Опубликовано Ksenia-Polo - чт, 12/20/2018 - 12:32

Наиболее эффективные в Гугл методы:

1)Блокировка индексирования при помощи атрибута noindex

Общие правила: тег помещают внутри тега <head>, содержимое атрибута content должно состоять из одной или нескольких (через запятую) стандартных директив:

all/none – индексировать/игнорировать всю страницу.
index/noindex – индексация/игнорирования содержимого страницы.
follow/nofollow – анализ/игнор ссылки страницы.
noimageindex – запрет индексации изображений.
noodp – запрет использования в качестве сниппета страницы описания из каталога Open Directory Project. noarchive – запрет просматривать сохраненную в кэше поисковика копию
nosnippet – запрет на вывод фрагмента текста, описывающего содержание страницы.

Для Яндекса

noyacaНе использовать сформированное автоматически описание.

Для указания тега при импорте материала через feeds нужно на странице mappings при включенном модуле metatag 

добавить соответствие meta_robots и в таблице источнике в ячейке указать noindex.

друпал

  2)Паролем для каталога 

В закрываемой папке нужно создать файл .htaccess c содержимым, которое можете сгенерировать на http://www.htaccesstools.com/htaccess-authentication/
Файл .htpasswd лучше расположить вне папки сайта. Его можно сгенерировать на http://www.htaccesstools.com/htpasswd-generator/.

В Яндекс также можно закрыть в robots.txt и добавить страницы в панели Яндекса

3) X-Robots-Tag

HTTP-заголовок X-Robots-Tag для определенного URL на сервере сайта

4)В случае необходмисоти закрыть дубли можно использовать каноникал.