Отбиваемся от поведенческих ботов, парсеров, краулеров и прочи | Hey, moneymaker!

Отбиваемся от поведенческих ботов, парсеров, краулеров и прочих роботов

Подготовил подробный мануал по бесплатной защите сайта с помощью сервиса CloudFlare и встроенного в него файрвола от ненужной нагрузки, к которой также относятся поведенческие боты.
—
Кого фильтруем:

- Активность из ненужных стран (аккуратнее, у многих сейчас VPN);
- Ботов под IPV6 и тех, кто стучится без HTTPS;
- Тех, кто обращается по протоколу ниже HTTP/2;
- Краулеры различных сервисов - Ahrefs, MegaIndex, ...;
- Запрещаем парсить сайт программами - Screaming Frog SEO Spider, Netpeak Spider, ...;
—
Видео версия на YT -


Подробная статья на VC - https://vc.ru/seo/477451-nastraivaem-cloudflare-dlya-filtracii-botov