Пример работы x-robots tag (HTTP заголовок). Редко встречается | SEO-секретики
Пример работы x-robots tag (HTTP заголовок). Редко встречается на практике. Чаще всего таким образом закрывают от индексации файлы (PDF, DOC и т.п.), так как Google чаще всего игнорирует любые директивы из файла robots.txt.
PS. Расширение для Хрома называется Robots Exclusion Checker. Писал об этом тут.
