2020-05-27 10:07:25
ПРО СТРАННЫЕ URL В ЯНДЕКС ВЕБМАСТЕРЕ
Поисковый робот получает информацию о каких-то url сайта разными путями, переходит по ним и результат сканирования сообщает вам в Яндекс Вебмастере, например.
Пути получения url роботом
1. Ссылки на вашем сайте (на другие страницы сайта). Робот, зная о какой-то странице вашего сайта может переходить по ссылкам на другие страницы и индексировать их.
2. Ссылки на ваш сайт с других сайтов. Работает аналогично.
3. Сигналы Яндекс Метрики. Подробнее, например, здесь: https://yandex.ru/blog/metrika/otkryvaem-integratsiyu-s-vebmasterom. Смысл в том, что робот получает информацию о url сайт от Яндекс Метрики и идет смотреть, что там за страница такая. Но ведь код Яндекс Метрики установлен на всех страницах сайта, в том числе и на черновиках, например. Черновик не публичен, имеет странный url, но вы можете на него перейти и поисковый робот получит информацию о «новом url», по которому как раз и будет код 404 или 301 (ведь черновик виден только для авторизованных посетителей, а поисковик не авторизован).
Я думаю, что именно третий пункт сработал для ссылки, выделенной на скриншоте: http://joxi.ru/Q2KjzgesLpLaZm.
Вредны ли сигналы Яндекс Метрики для поискового робота? Может быть их отключить? — Все зависит от массовости проблемы, на сколько часто и густо появляются странные url, по которым переходит поисковый робот. В чате давайте привлечем сео-специалистов к обсуждению данного вопроса (чат здесь: https://t.me/joinchat/C0tGDUHLIuSlflhc8SrTzw).
***
Теперь по поводу первого url на скриншоте: http://joxi.ru/v2973ROIZDZkXr (и, я думаю, аналогично для этого скрина: http://joxi.ru/eAO5zEeU9e9bvm). Не знаю, что это =) Но где-то (из трех описанных выше пунктов) Яндекс подцепил эти адреса. Есть ли проблема в появлении данного url? — Cкорее всего нет. Опять-таки, все зависит от массовости.
Проблема будет, если такие url массово добавятся в индекс как канонические (ниже поясняю про канонические url).
На сайте работает прекрасный плагин Yoast SEO (ведь работает, да?), который выводит каноническую ссылку, что решает массу проблем.
Вот что это такое. Если мы будем добавлять к url так называемые гет-параметры (они могут быть совершенно любыми — http://joxi.ru/E2pME3eF707JqA) страница будет открываться с кодом 200. И это вполне нормально. Если бы не каноническая ссылка (http://joxi.ru/DrlEgKzFV6Vkpm), выводимая Yoast SEO, робот бы посчитал, что страницу http://test.1morkovin.ru/?blablabla=fignya нужно индексировать и это был бы дубль контента. А так, благодаря канонической ссылке, робот понимает, что это какая-то техническая страница, а основная находится по каноническому url. В индекс попадут только каноническое url.
7.1K views07:07
В
