На Github есть огромное количество скриптов для автоматизации | "Cyber detective" & "Irina Daily Tech Tips" твиты на русском
На Github есть огромное количество скриптов для автоматизации сбора данных с соцсетей, интернет-магазинов и других сайтов. Многие из них очень популярны и востребованы (например, instagram-scraper сообрал уже более 7 тысяч звезд, а twitter-scraper 3.3 тысячи, что меркам Github довольно много).
Но монетизировать свой труд их разработчикам сложно.
Можно использовать свой профиль Github в качестве портфолио для поиска заказчиков или устройства на работу в IT-компанию.
Можно развивать свой личный бренд, к профилю на Github добавить блог+соцсети и собирать донаты.
Можно запустить на основе своих скриптов платный онлайн-сервис, бот для Telegram (или других платформ), продавать собранные данные на специальных закрытых форумах...
А еще есть такая интересная штука как Apify (https://apify.com/).
Эта платформа позволяет пользователям запускать онлайн разные скрипты для сбора данных. Например:
- скрапер результатов поиска Google;
- скраперы Twitter, Instagram и TikTok аккаунтов;
- скраперы для AliExpress и желтых страниц.
Для запуска нужно просто ввести входные параметры (например, имя аккаунта) на странице скрипта, немного подождать, а потом на странице с результатами скачать таблицу с данными в Excel, CSV, JSON.
Часть таких скриптов доступно бесплатно (но все равно нужно потратить от 10 центов за каждое выполнение кода на ВМ (4ГБ оперативки, большой список прокси на выбор и т.д.)). А за некоторые доплатить дополнительно. Например, Tripadvisor Scraper стоит $40 в месяц, а Reddit Scraper $45 в месяц.
Превратить свой код в actor можно с помощью Apify SDK (большая часть работы, в том числе генерация пользовательского интерфейса автоматизирована). Первые годы своего существования платформа поддерживала только Nodejs, а с недавних пор начала работать и с Python.
На главной странице сайта Apify написано, что еженедельно ее пользователи открывают для сбора данныз 244 миллиона страниц. Но при посмотре статистики отдельных actors есть подозрение, что разработчики там зарабатывают не слишком много.
Например, у Amazon Product Scraper (https://apify.com/vaclavrut/amazon-crawler), одного из самых популярных скраперов на платформе, 2411 пользователей. Но не ясно сколько из них регулярно платят $40. Ведь в число 2411 включены и те, кто просто разок запустил посмотреть и те, кто постоянно регистрирует новые аккаунты, чтобы бесплатно пользоваться 14-дневным пробным периодом. А уже на второй странице каталога (при сортировке по популярности) размещены скраперы, у которых всего нескольких сотен пользователей.
Как оказалось, платформа была запущена в 2017, но первый разработчик, получивший на ней 1000 долларов прибыли появился только в 2022 году (https://get.apify.com/monetize-your-code). И при этом у него несколько десятков публичных actors в профиле https://apify.com/epcsht!
Так что, сама концепция проекта очень интересна, но вливаться в Apify ради получения каких-то серьезных заработков в обозримом будущем не стоит. Но, возможно, через несколько лет с ростом популярности сервиса ситуация может поменяться в лучшую сторону.
