soxoj выпустил marple - инструмент, который позволяет парсить | Cybred

soxoj выпустил marple - инструмент, который позволяет парсить ссылки на проиндексированные поисковиками (Google и DuckDuckGo) профили пользователей с различных сайтов по юзернеймам. Желающие могут пойти на https://github.com/soxoj/marple, клонировать и потестить. Я пока еще не пробовал, но точно знаю, что давно существует множество альтернатив.

Функционал еще довольно небольшой, но зная другие его проекты (Maigret, YaSeeker, Mailcat), надеюсь, что он будет пополняться. На данный момент возникает только единственный вопрос - почему нет ротации проксей? Работая с поисковиками, это первое, о чем стоит позаботиться, особенно на старте. И это не первый раз - в тех альтернативах, о которых я говорил вышел, если и есть поддержка прокси, то только каких-то единичных, которые вы можете указать в качестве аргумента.

А зная, как Google любит подсовывать капчи со светофорами, и количество запросов, которые нужно сделать, чтобы найти нужного «кабанчика на подскоке», юзабельность подобного софта близится к нулю. На данный момент mast have инструментом в данной области как был, так и остается Searcher. Пусть он и не умеет отделять ссылки на профили от ссылок на все остальные сайты, и вообще изначально не предназначался для OSINT, зато обладает кучей возможностей, отличающих его от большинства скриптов с гитхаба.

Собственный антипаблик, поддержка не 2х, а 40ка поисковых систем, возможность задавать самому глубину поиска и куча всего другого - то, что есть в серчере и то, что хотелось бы видеть в качестве минимального набора в выпускающихся скраперах. А marple таковым, по сути, и является - прикрути ему «неразборчивый режим», позволяющий собирать все ссылки подряд.