Обновлённое руководство содержит больше примеров и объяснений по различным конфигурациям robots.txt.
В документе «Спецификации файла robots.txt» подробно описано, как Google обрабатывает файл robots.txt. Этот файл позволяет вебмастерам управлять сканированием и индексированием сайтов поисковыми роботами Google.
Обновлением спецификаций занимались сотрудники Google Гэри Иллайс (Gary Illyes) и Лиззи Харви.
https://topvisor.com/ru/journal/news/2021-04-google-updated-robots-txt-documentation/
@topvisorjournal
#новости
