#Ответы на вопросы! Вопрос 2595 В GSC у части страниц стату | Дежурный SEO-доктор
#Ответы на вопросы!
Вопрос 2595
В GSC у части страниц статус "Проиндексировано, несмотря на блокировку в файле robots.txt". Почему страницы индексируются, если они заблокированы? Страницы мусорные, поэтому желательно их удалить скорее, как это сделать? И как избежать повторной индексации?
Ответ
Директивы прописанные в файле robots.txt не предназначены для того, чтобы запрещать показ ваших материалов в результатах поиска.
Например, если на страницу ведет внешняя или внутренняя ссылка, то скорее всего страница все равно попадет в индекс.
Чтобы этого избежать и убрать ошибку в консоли, нужно:
проверить sitemap на наличие мусорных URL;
проверить, что нет бэклинков на страницы которые запрещены в robots.txt;
настроить блокировку страниц, прописав в коде страницы или использовав noindex (404, 410 для удаленных URL) в HTTP-ответе сервера.
Такие страницы будут все реже и реже сканироваться краулерами и автоматически выпадут из индекса.
Также можно воспользоваться Google Search Console → “Индекс” → “Удаления” и оставить запрос на удаление необходимых URL. В течении некоторого времени страницы будут удалены из индекса. Подробнее ознакомиться с инструментом можно по ссылке.
Прокомментировать ответ или задать уточняющий вопрос можно у нас в блоге. Делитесь мнением и опытом в комментариях!
via @siteclinic_doctor