Про директиву файла robots.txt – clean-param, которую понимает только Яндекс
В основном директиву используют для экономии краулингово бюджета и как превентивную меру для поддержания чистоты индекса.
На что хочется обратить внимание, цитирую справку
:
Рекомендуем использовать Clean-param, так как эта
директива позволяет передавать (с закрытых в директиве страниц с параметрами)
основному URL или сайту некоторые накопленные показатели, например ссылочные.
Роботы яндекса будет "пропускать" и не учитывать страницы, обозначенными в директиве, что значительно сэкономит бюджет сканирования, новые страницы будут быстрее попадать в индекс и уменьшится нагрузка на сервер.
О том как использовать директиву подробно описано в справке Яндекса, о сценариях и нюансах применения читайте в статье Сергея Сосновского
@seospecialist
