Не проверяйте бота по 'Reverse DNS' Некоторые 'специалисты' п | Black Hat SEO

Не проверяйте бота по "Reverse DNS"

Некоторые "специалисты" по PBN, специалисты по дорвеям рекомендуют пользоваться проверкой бота по способу, который описан в документации Google.

Но есть проблема: если часто делать запросы к DNS серверу, то скорее всего ваш IP просто забанят, либо увеличат timeout. На некоторых хостингах можно ожидать ответа по 5 секунд, есть примеры, где люди на это жалуются, например, здесь и здесь.

Лучше проверять ботов по диапазону IP: краулеры ходят с известных диапазонов, а другие боты гугла могут ходить вообще с иных ASN.

Чтобы не заморачиваться с написанием кода, нашел для вас старую библиотеку от Cloudflare для проверки IP в диапазоне. Не так давно скидывал в чаты ссылки на публичный JSON, где Google указал диапазоны своих краулеров, коллега сделал Github репозиторий, где собрал все в удобной форме. IP различных краулеров есть и на myip.ms, но этот файл нужно предварительно обрабатывать.

P.S. Кстати, отличить бота, приходящего с консоли/сервисов от краулера можно по заголовкам, которые отдает, но не перестарайтесь, иначе заблокируете sitemap (спасибо Alex за наводку).