Black Hat SEO

2021-09-13 14:40:50 Открыть/Комментировать

2021-09-13 14:40:40 Автоматически генерируемые сайты для e-commerce affiliate (Amazon, Aliexpress и т.д.) Часть 1.

Этим постом я открываю серию про e-commerce сайты. Меня не в первый раз спрашивают про контент для них, но без тестов и примеров я не хотел что-либо выкладывать.

Первое и самое простое: товарный фид + локальность.
Как пример, вот этот сайт, хотя он уже санкции схватил, но это хороший пример, что не amazon'ом единым, на локальных рынках есть свои игроки (здесь Яндекс.Маркет) и я рекомендую идти в страны, где меньше конкуренции.

Лучше всего 1 домен - 1 город, а то при однотипном контенте, одном товарном фиде на множество городов можно схватить thin content, что, наверное, и случилось с этим сайтом. Локальностью мы придаем дополнительную ценность нашему сайту. Возможно, даже лучше делать конкретную группу товаров на один домен, это не успел проверить.

Делаем небольшой шаблон для текстов, лучше не как в примере под фидом, а как нужно после апов этого года - в первом экране просмотра. В примере не особо старались с текстом, рекомендую сделать получше.

Нужна хорошая структура сайта, как делают в e-commerce магазинах, не просто рандом, как привыкли большинство дорвейщиков. Так же рекомендую внедрить фильтры, обычно партнерки отдают все необходимые данные.

Помните, что сгенерированные сайты попадают стабильно под санкции и это не должно быть для вас неожиданностью, делайте больше, но в пределах разумного, чтобы ваш паттерн быстро не вычислили и будет вам счастье.

P.S. Не пишите, пожалуйста, с коммерческими предложениями и "бартерами" - канал некоммерческий. Открыть/Комментировать

2021-08-24 14:00:24 Обновление How Google Search Works

Как уже известно, Google обновил свой сайт, где они объясняют работу поиска. Изменений там практически нет: изменили формулировки, в Usability просто оставили ссылку на Page Experience, вместо объяснений. Но мой взор зацепился за различия следующих кусков текста:

Было
>For example, if other prominent websites link to the page (what is known as PageRank), that has proven to be a good sign that the information is well trusted. Aggregated feedback from our Search quality evaluation process is used to further refine how our systems discern the quality of information.

Стало
>For example, one of several factors we use to help determine this is understanding if other prominent websites link or refer to the content. This has often proven to be a good sign that the information is well trusted. Aggregated feedback from our Search quality evaluation process is used to further refine how our systems discern the quality of information.

Во-первых, они убрали упоминание Pagerank и вообще заменили слово page на content, во-вторых, они добавили "or refer" рядом с link. Первое согласуется с тем, что они теперь точнее понимают контексты в контенте, да и последние изменения в показе серпа об этом говорят, а второе - это намек на cite и blockquote?

Это просто размышления, и, возможно, я просто страдаю СПГС, но для понимания Google'а часто нужно читать между строк. Открыть/Комментировать

2021-08-18 15:37:32 Новый парсер в A-Parser'е

После моего вопроса в публичном чате A-Parser'а о возможности подключения библиотеки Readability.js (лучшая альтернатива устаревшей библиотеке Boilerpipe), которая в большинстве случаев вытаскивает тело контента из документа, команда A-Parser внедрили полноценный парсер HTML::ArticleExtractor в альфа-версии! Приятно, что принес пользу коллегам.

Судя по переменным, которые доступны, можно извлекать контент, как с html тегами, так и без них, получать title страницы, длину статьи, автора, название сайта, description или короткую выжимку контента, в общем, доступен весь функционал библиотеки + настройки как в парсере HTML::TextExtractor, благодаря которым я паршу даже самые стойкие сайты.

Использовать данный парсер можно:

- Для извлечения контента с сайтов собранных из топа поисковых систем и последующего использования для генерации контента.

- На автомате извлекать и затем анализировать контент посредством API сервисов, библиотек обработки естественных языков (NLP).

- Извлекать контент, затем прогонять через встроенный в A-Parser Deepl::Translator, чтобы на автомате переводить тексты на другие языки.

- Также для контента, который прогнали через переводчики, можно сделать обратный перевод, что в ряде случаев приводит к рерайту статьи на языке оригинала.

И многие другие варианты применения...

Кстати, для очистки контента от ненужных пробельных символов нужно в выводе результата прибавить collapse, например $p1.textContent.collapse.

P.S. Поставил рефку в ссылку в начале статьи, раз уж есть партнерка, но за рекламу мне не платили, пишу только об инструментах, которыми пользуюсь сам. Считаю, что это один из самых нужных инструментов вебмастера, хоть и довольно сложный. Конечно, можно самому писать парсеры и постоянно их обновлять, либо платить программисту, но я предпочитаю экономить время и деньги. Открыть/Комментировать

2021-08-18 09:00:16 Маскировка под GoogleBot через подмену хоста И снова про ReverseDNS и нерадивых разработчиков. Как мы знаем из этой статьи, при выполнении DNS-запроса по IP адресу GoogleBot отдает доменное имя .googlebot.com или .google.com, например crawl-66-249-66-1.googlebot.com… Открыть/Комментировать

2021-08-13 14:42:40 Маскировка под GoogleBot через подмену хоста

И снова про ReverseDNS и нерадивых разработчиков. Как мы знаем из этой статьи, при выполнении DNS-запроса по IP адресу GoogleBot отдает доменное имя .googlebot.com или .google.com, например crawl-66-249-66-1.googlebot.com, где crawl-66-249-66-1 - это имя хоста.

Очень многие разработчики не понимают специфики и важности правильной проверки, поэтому просто ищут вхождение подстроки в строку, например в PHP через функцию strpos(). Если злоумышленник заменит имя хоста, например на crawl-66-249-66-1.googlebot.com.randomdomain.com, то ваша проверка по DNS запросу выдаст положительный результат, так как вхождение в строку есть.

Поэтому очень важно проверять именно конец строки, а не просто вхождение. В PHP 8 наконец появилась функция str_ends_with(), которая реализует то, что нам нужно, но если у вас PHP более ранней версии, то можно использовать следующую функцию:

function endsWith($string, $endString) {
$len = strlen($endString);
if ($len == 0) {
return TRUE;
}
return (substr($string, -$len) === $endString);
}

За наводку спасибо @realefs

P.S. спасибо @glav_hack за публикацию, очень приятно. Открыть/Комментировать

2021-08-06 09:26:00 «Хакерский» способ заглянуть за клоаку

Некоторые разработчики плохо разбираются в безопасности, поэтому при получении ip приоритет отдают заголовку X-Forwarded-For, который можно подменить из браузера.

Для этого способа нам понадобится Chrome, какой-нибудь плагин для браузера заменяющий UserAgent, например этот, чтобы подменить на GoogleBot'овский, а также вот это расширение, чтобы сделать подмену ip.

В настройках X-Forwarded-For Header указываем ip GoogleBot'а, например 66.249.64.91 (можно отметить так же другие заголовки, но это не принципиально).

Далее в плагине Useragent меняем на GoogleBot и смотрим, что от нас скрыто.

Кстати, подмену X-Forwarded-For можно использовать для парсинга некоторых сайтов, например в Screaming Frog.

Другие способы обхода клоаки здесь. Открыть/Комментировать

2021-08-05 14:54:13 Профитные ниши
Коллеги по черному SEO периодически спрашивают, где найти жирные темы, поэтому я подготовил список тезисов:

- Многие высокопрофитные ниши в SEO можно найти среди запрещенных к рекламе в поиске (переходите по ссылкам, там больше конкретики). Компании в этих нишах принимают черносеошный траф. Кстати, в этих же нишах часто представлены конторы из "СНГ" и в них платят SEO-специалистам выше рынка.

- Просматриваем OfferVault, Partnerkin и т.д. на офферы, правда не все согласны принимать трафик с дорвеев, чаще всего это "серые" продукты. Просто отмывать трафик, сливая на сайт-прокладку уже не особо работает, досматривают качество трафика тщательно, но иногда партнерки сами готовы идти на подобный самообман, как это делают download ПП типа AdCenter. Если делаете "дорвеи для людей", без клоакинга и ворованного контента, то тут уже попроще.

- Профитные ниши, где платят много за лид - высокомаржинальные.

- Ниша может быть с невыской маржой, но иметь много низкочастотки, тогда можно выиграть на объемах.

- В профитных нишах перегрета цена клика в рекламе.

- Думаем в какой нише может быть много низкочастотных ключей, ищем офферы под нее.

- Смотрим подниши в партнерских программах, которые принимают дорвейный трафик, бывает так, что там и конкуренции меньше и доходы выше.

- Обязательно пользуемся Ahrefs или Semrush, чтобы оценить количество ключей, конкуренцию. Если высокой конкуренции с другими дорвейщиками/сеошниками нет, то можно даже на десятках тысяч ключей собирать трафик и получать доход. Открыть/Комментировать

2021-07-29 23:36:30 По поводу статьи на VC
Сегодня меня несколько человек в лс спросили по поводу этой статьи. Также ее обсуждали в нескольких чатах коллеги, поэтому хочу немного объяснить данное явление.

>>Возможно при заходе с IP-адреса сканера Google мошенники показывают настоящее содержимое, но разработчик «притворился» Google и получил ту же картинку с главной страницы havfruen4220.dk.

Да, увидеть можно элементарно вот тут по мотивам 3-го пункта моего предыдущего поста.

>>Когда пользователь открывает страницу спам-домена, мошенники блокируют возможность вернуться в Google. Таким образом они «подсказывают» поисковым алгоритмам, что пользователь нашёл нужную информацию у них на сайте — так как не вернулся обратно в поисковую выдачу. Алгоритмы считают сайт «полезным» и ранжируют его ещё выше.
>>После того, как пользователю заблокировали возможность вернуться в выдачу, ему приходится искать информацию заново. Но он может забыть точную формулировку своего запроса и ищет нужный сайт уже по другой фразе.

Это предположение не является верным, Lospollos так делает на всех своих офферах, но при этом данная функция не помогает всем собирать миллионы трафика с дорвеев.

Я думаю, что вся "тема" здесь в .dk зоне, видимо ее google "жрет" так же хорошо, как другую европейскую зону, в удачном дроп-домене (таким может оказаться и не "жирный" домен) и в целом небольшом количестве сайтов в норвежской выдаче. Открыть/Комментировать

2021-07-26 17:29:28 Олеся Коробка хорошо пояснила по векторам в этом посте. Также в посте есть ссылка на инструмент, который позволяет собирать контекстно близкие слова (Related terms из прошлого поста) из поиска, их гугл как раз подсвечивает жирным. Кстати, поэтому сниппеты включать в текст дорвеев даже хорошо, но делать это следует с умом и пользоваться не только ими (многие злоупотребляют). Открыть/Комментировать