Возникает иногда задача понять, что за контент находится в списке урлов, Screaming Frog уже много где блокируется, importHTML в Google Таблицах отваливается после нескольких десятков результатов, а A-Parser не все захотят выкупать и разбираться.
Пример задачи: собрали групповой отчет по страницам конкурентов и надо понять, что там за темы, или ищем ссылочных доноров и хотим узнать тематики. Так вот пару лет назад придумал просто собирать данные из выдачи для быстрого анализа. Интересно, что до сих пор такой инструмент нигде не встречался, где можно отдать список урлов и получить title из выдачи.
Принцип работы:
- В файл query.txt помещаем список страниц
- Скрипт забирает пакетом по 50 урлов и в 10 потоков проверяет первый результат в выдаче
- Сохраняет по мере парсинга в файл result.xlsx
- При ошибках делает еще 2 попытки получить данные
Цена парсинга равна стоимости обращения к Яндексу - 20 рублей/1000 запросов, никаких блокировок, проксей и обходов. Минусы - в Title выдачи лежит только часть текста.
Пример реализации и полное описание на Github , остальное можно довайбкодить самостоятельно
