Дружеское напоминание: robots.txt не запрещает индексацию — он останавливает сканирование (краулинг).
Лучший безошибочный способ запретить индексацию — использовать meta noindex.
Второе дружеское напоминание: если вы запретили сканирование, вы не можете запретить индексацию.
Сканирование необходимо для того, чтобы поисковая система могла видеть теги, такие как noindex.
via Sam Underwood
Удивительно, но некоторым SEO-спецам эта логика до сих пор не ясна.
