#запись Как добывать данные когда их не хотят отдавать Евгени | Parsing Conf

#запись
Как добывать данные когда их не хотят отдавать

Евгений Слайковский, инженер, Scrapinghub (Zyte)

1. Почему так происходит? Сервис хочет отдавать данные только реальным пользователям. Что нам делать? Пытаться выглядеть как реальный пользователь.
2. Уровни симуляции пользователя: заголовки, IP, Сессии, Javascript, Сложные отпечатки (js fingerprint, network fingerprint).
3. Заголовки: порядок важен, регистр важен. Пробелы важны.
4. IP. Адреса Тора, плохие прокси, дата центр прокси, всё это можно проверить.
5. Сессии
6. Javascript. Простые челенджи. Использование JS эмуляторов и браузеры.
7. Js fingerprints. Canvas, webGL, webRTC leak. Автоматизация браузеров. (Splash, Puppeteer, Playwright)
8. Network fingerprint, http/2, tls fingerprinting.
9. Каптчи. Recaptcha v2, v3, hcaptcha, geetest captcha.
10. Обзор антибот систем и кейсы
11. Cloudflare
12. PerimeterX
13. Akamai
14. Datadome
15. А почему только десктоп?
16. Мобильная версия
17. Мобильное приложение.
18. Будущее антибот систем.

Видео