Наверное, многие из вас уже позабыли, что в конце июля я ано | АлаичЪ про SEO, бизнес и …
Наверное, многие из вас уже позабыли, что в конце июля я анонсировал новый сервис для краулинга/сканирования сайта – Qrawl.io.
«…сейчас мы быстро все пофиксим и вернемся с новым раундом тестирования!» - обещал я, но оказалось все сложнее. Так что я приношу свои извинения за столь длительную задержку.
На прошлом этапе было более 100 тестеров: спасибо вам за обратную связь, мы все (многое) учли и провели не только работу над ошибками, но существенно улучшили техническую часть парсера.
Краул предлагает базовый функционал (но теперь ваш ноут точно вытянет, всё в облаке, работает очень быстро, да еще и бесплатно):
- Базовые вещи (robots.txt, meta robots, canonical, редиректы, ответы сервера и т.д.),
- Анализ метатегов и заголовков (title, description, h1-h6),
- Анализ не HTML содержимого (скрипты, стили, файлы, документы и т.д. с группировкой по URL)
- Анализ изображений (с группировкой по URL),
- Анализ структуры (и вложенности),
- Анализ ссылок (внешних и внутренних),
- Сохраняет все ссылочные связи,
- Может обрабатывать 1000+ URL в секунду, если позволит сервер, где хостится сайт,
- Определение антиботов и защиты от парсинга (предупредим если для успешного сканирования сайта необходимо будет отключить защиту или добавить ip сервиса в вайтлист).
На этот раз:
- Никаких инвайтов (регистрация свободная для всех),
- Фидбек в свободной форме и по желанию (пишите мне @victimalex),
- Ограничение на 30 000 url на аккаунт (можно просканировать 30к страниц в рамках одного сайта, либо 30 сайтов по 1к страниц – как вам нравится).
https://app.qrawl.io/
Короче, го тестить, друзья!
PS Как только базовый функционал покажет свою стабильность, мы сразу отправимся пилить действительно крутые штуки, так что если у вас есть какие-то идеи, пусть даже совершенно безумные, пишите!
