Наглядно, для чего нужно анализировать лог файлы сервера.
Сканирование лягушкой выявило 2 млн страниц, анализ лог файлов за месяц - 6,2 млн страниц с обращениями ботов.
Пересечений - 876 тысяч. Из двух миллионов страниц, миллион просканированных страниц ни разу не посещались ботами
Предвосхищая вопросы, что не хватает краулингового бюджета, отвечаю - хватает, до 550 тысяч обращений в сутки только со стороны Яндекса.
