Олеся Коробка хорошо пояснила по векторам в этом посте. Также в посте есть ссылка на инструмент, который позволяет собирать контекстно близкие слова (Related terms из прошлого поста) из поиска, их гугл как раз подсвечивает жирным. Кстати, поэтому сниппеты включать в текст дорвеев даже хорошо, но делать это следует с умом и пользоваться не только ими (многие злоупотребляют).

По поводу статьи на VC
Сегодня меня несколько человек в лс спросили по поводу этой статьи. Также ее обсуждали в нескольких чатах коллеги, поэтому хочу немного объяснить данное явление.

>>Возможно при заходе с IP-адреса сканера Google мошенники показывают настоящее содержимое, но разработчик «притворился» Google и получил ту же картинку с главной страницы havfruen4220.dk.

Да, увидеть можно элементарно вот тут по мотивам 3-го пункта моего предыдущего поста.

>>Когда пользователь открывает страницу спам-домена, мошенники блокируют возможность вернуться в Google. Таким образом они «подсказывают» поисковым алгоритмам, что пользователь нашёл нужную информацию у них на сайте — так как не вернулся обратно в поисковую выдачу. Алгоритмы считают сайт «полезным» и ранжируют его ещё выше.
>>После того, как пользователю заблокировали возможность вернуться в выдачу, ему приходится искать информацию заново. Но он может забыть точную формулировку своего запроса и ищет нужный сайт уже по другой фразе.

Это предположение не является верным, Lospollos так делает на всех своих офферах, но при этом данная функция не помогает всем собирать миллионы трафика с дорвеев.

Я думаю, что вся "тема" здесь в .dk зоне, видимо ее google "жрет" так же хорошо, как другую европейскую зону, в удачном дроп-домене (таким может оказаться и не "жирный" домен) и в целом небольшом количестве сайтов в норвежской выдаче.

Профитные ниши
Коллеги по черному SEO периодически спрашивают, где найти жирные темы, поэтому я подготовил список тезисов:

- Многие высокопрофитные ниши в SEO можно найти среди запрещенных к рекламе в поиске (переходите по ссылкам, там больше конкретики). Компании в этих нишах принимают черносеошный траф. Кстати, в этих же нишах часто представлены конторы из "СНГ" и в них платят SEO-специалистам выше рынка.

- Просматриваем OfferVault, Partnerkin и т.д. на офферы, правда не все согласны принимать трафик с дорвеев, чаще всего это "серые" продукты. Просто отмывать трафик, сливая на сайт-прокладку уже не особо работает, досматривают качество трафика тщательно, но иногда партнерки сами готовы идти на подобный самообман, как это делают download ПП типа AdCenter. Если делаете "дорвеи для людей", без клоакинга и ворованного контента, то тут уже попроще.

- Профитные ниши, где платят много за лид - высокомаржинальные.

- Ниша может быть с невыской маржой, но иметь много низкочастотки, тогда можно выиграть на объемах.

- В профитных нишах перегрета цена клика в рекламе.

- Думаем в какой нише может быть много низкочастотных ключей, ищем офферы под нее.

- Смотрим подниши в партнерских программах, которые принимают дорвейный трафик, бывает так, что там и конкуренции меньше и доходы выше.

- Обязательно пользуемся Ahrefs или Semrush, чтобы оценить количество ключей, конкуренцию. Если высокой конкуренции с другими дорвейщиками/сеошниками нет, то можно даже на десятках тысяч ключей собирать трафик и получать доход.

Маскировка под GoogleBot через подмену хоста

И снова про ReverseDNS и нерадивых разработчиков. Как мы знаем из этой статьи, при выполнении DNS-запроса по IP адресу GoogleBot отдает доменное имя .googlebot.com или .google.com, например crawl-66-249-66-1.googlebot.com, где crawl-66-249-66-1 - это имя хоста.

Очень многие разработчики не понимают специфики и важности правильной проверки, поэтому просто ищут вхождение подстроки в строку, например в PHP через функцию strpos(). Если злоумышленник заменит имя хоста, например на crawl-66-249-66-1.googlebot.com.randomdomain.com, то ваша проверка по DNS запросу выдаст положительный результат, так как вхождение в строку есть.

Поэтому очень важно проверять именно конец строки, а не просто вхождение. В PHP 8 наконец появилась функция str_ends_with(), которая реализует то, что нам нужно, но если у вас PHP более ранней версии, то можно использовать следующую функцию:

function endsWith($string, $endString) {
$len = strlen($endString);
if ($len == 0) {
return TRUE;
}
return (substr($string, -$len) === $endString);
}

За наводку спасибо @realefs

P.S. спасибо @glav_hack за публикацию, очень приятно.

Должен сделать уточнение к данному посту.

Есть те, кто не понял, что randomdomain.com в crawl-66-249-66-1.googlebot.com.randomdomain.com - это любой домен, который принадлежит злоумышленнику, поэтому при прямом DNS запросе полученного хоста он сможет отдать IP, к которому изначально делал обратный DNS запрос.

Я знаю, что PTR запись можно полностью подменить даже на ту, которую Google отдает, но в таком случае при прямом DNS запросе можно будет увидеть подмену, поэтому Google и сделал такой алгоритм проверки в статье.

P.S. Люди интересуются откуда познания: учился на технической кибернетике, диплом связан с Data Mining, преподавал основы компьютерных сетей, проходил сертификации CCNA, MCSA и RHCSA.

Новый парсер в A-Parser'е

После моего вопроса в публичном чате A-Parser'а о возможности подключения библиотеки Readability.js (лучшая альтернатива устаревшей библиотеке Boilerpipe), которая в большинстве случаев вытаскивает тело контента из документа, команда A-Parser внедрили полноценный парсер HTML::ArticleExtractor в альфа-версии! Приятно, что принес пользу коллегам.

Судя по переменным, которые доступны, можно извлекать контент, как с html тегами, так и без них, получать title страницы, длину статьи, автора, название сайта, description или короткую выжимку контента, в общем, доступен весь функционал библиотеки + настройки как в парсере HTML::TextExtractor, благодаря которым я паршу даже самые стойкие сайты.

Использовать данный парсер можно:

- Для извлечения контента с сайтов собранных из топа поисковых систем и последующего использования для генерации контента.

- На автомате извлекать и затем анализировать контент посредством API сервисов, библиотек обработки естественных языков (NLP).

- Извлекать контент, затем прогонять через встроенный в A-Parser Deepl::Translator, чтобы на автомате переводить тексты на другие языки.

- Также для контента, который прогнали через переводчики, можно сделать обратный перевод, что в ряде случаев приводит к рерайту статьи на языке оригинала.

И многие другие варианты применения...

Кстати, для очистки контента от ненужных пробельных символов нужно в выводе результата прибавить collapse, например $p1.textContent.collapse.

P.S. Поставил рефку в ссылку в начале статьи, раз уж есть партнерка, но за рекламу мне не платили, пишу только об инструментах, которыми пользуюсь сам. Считаю, что это один из самых нужных инструментов вебмастера, хоть и довольно сложный. Конечно, можно самому писать парсеры и постоянно их обновлять, либо платить программисту, но я предпочитаю экономить время и деньги.

Обновление How Google Search Works

Как уже известно, Google обновил свой сайт, где они объясняют работу поиска. Изменений там практически нет: изменили формулировки, в Usability просто оставили ссылку на Page Experience, вместо объяснений. Но мой взор зацепился за различия следующих кусков текста:

Было
>For example, if other prominent websites link to the page (what is known as PageRank), that has proven to be a good sign that the information is well trusted. Aggregated feedback from our Search quality evaluation process is used to further refine how our systems discern the quality of information.

Стало
>For example, one of several factors we use to help determine this is understanding if other prominent websites link or refer to the content. This has often proven to be a good sign that the information is well trusted. Aggregated feedback from our Search quality evaluation process is used to further refine how our systems discern the quality of information.

Во-первых, они убрали упоминание Pagerank и вообще заменили слово page на content, во-вторых, они добавили "or refer" рядом с link. Первое согласуется с тем, что они теперь точнее понимают контексты в контенте, да и последние изменения в показе серпа об этом говорят, а второе - это намек на cite и blockquote?

Это просто размышления, и, возможно, я просто страдаю СПГС, но для понимания Google'а часто нужно читать между строк.

Автоматически генерируемые сайты для e-commerce affiliate (Amazon, Aliexpress и т.д.) Часть 1.

Этим постом я открываю серию про e-commerce сайты. Меня не в первый раз спрашивают про контент для них, но без тестов и примеров я не хотел что-либо выкладывать.

Первое и самое простое: товарный фид + локальность.
Как пример, вот этот сайт, хотя он уже санкции схватил, но это хороший пример, что не amazon'ом единым, на локальных рынках есть свои игроки (здесь Яндекс.Маркет) и я рекомендую идти в страны, где меньше конкуренции.

Лучше всего 1 домен - 1 город, а то при однотипном контенте, одном товарном фиде на множество городов можно схватить thin content, что, наверное, и случилось с этим сайтом. Локальностью мы придаем дополнительную ценность нашему сайту. Возможно, даже лучше делать конкретную группу товаров на один домен, это не успел проверить.

Делаем небольшой шаблон для текстов, лучше не как в примере под фидом, а как нужно после апов этого года - в первом экране просмотра. В примере не особо старались с текстом, рекомендую сделать получше.

Нужна хорошая структура сайта, как делают в e-commerce магазинах, не просто рандом, как привыкли большинство дорвейщиков. Так же рекомендую внедрить фильтры, обычно партнерки отдают все необходимые данные.

Помните, что сгенерированные сайты попадают стабильно под санкции и это не должно быть для вас неожиданностью, делайте больше, но в пределах разумного, чтобы ваш паттерн быстро не вычислили и будет вам счастье.

P.S. Не пишите, пожалуйста, с коммерческими предложениями и "бартерами" - канал некоммерческий.

Дорогой Девака, здесь никакой не AI-generated, а контент на 100% сделан из спаршенных блоков Featured Snippet + People Also Ask в Google, просто за время существования сайта содержимое блоков поменялось, многие сайты переписали свои тексты.

Вот тема на BHW, где эти сайты спалили еще в прошлом году. Не просто так большой популярностью пользуется этот пресет A-Parser. Они даже собираются добавить парсинг PAA непосредственно в сам парсер Google.

Я проводил в этом году тесты с подобными сайтами: на дропах мне быстро приехали санкции 2 ступени антиспама, видимо лучше делать на свежерегах, их почему-то гугл перестал так жестко отслеживать, как он сейчас следит за дропами.

Техника скрытого "пирога"

Опытные сеошники знают, что взломанные сайты называют "пирогами", их могут использовать для размещения ссылок, но некоторые злоумышленники используют их, как площадки для размещения сгенерированных страниц (могут залить статику, но чаще заливают php файл или встраивают прямо в код ваших текущих).

Google рекомендует следить за изменениями трафика в Google Search Console, искать у себя на сайте дорвейные ключи по site:domain.com, а также он выдает плашку "This site may be hacked".

Но есть ситуация, когда никаких изменений с сайтом нет и не будет. Вроде очевидно, но не все об этом думают:

Вместо домена используют IP, к которому привязан ваш домен.

В GSC никаких изменений не будет зафиксировано, плашка о взломе скорее всего не появится, но по адресу, например, http://1.2.3.4/doorway.php?=keyword будет индексироваться страничка и нести трафик злоумышленнику.

В начале года я нашел в выдаче дорвей и отслеживал его, жил для "пирога" довольно долго, но схватил санкции Google за контент.

Дорвей-ракета

useenglishwords.com - отметился в рубрике winners & losers Semrush'а.

Очень классный пример заработка на Adsense, тут и People Also Ask, и сниппеты, как примеры предложений. Звуковые файлы произношения и прочие сервисы, к которым можно получить доступ. Интересно посмотреть насколько он будет long term.

Самое классное тут - график трафика. To The Moon!

Не проверяйте бота по "Reverse DNS"

Некоторые "специалисты" по PBN, специалисты по дорвеям рекомендуют пользоваться проверкой бота по способу, который описан в документации Google.

Но есть проблема: если часто делать запросы к DNS серверу, то скорее всего ваш IP просто забанят, либо увеличат timeout. На некоторых хостингах можно ожидать ответа по 5 секунд, есть примеры, где люди на это жалуются, например, здесь и здесь.

Лучше проверять ботов по диапазону IP: краулеры ходят с известных диапазонов, а другие боты гугла могут ходить вообще с иных ASN.

Чтобы не заморачиваться с написанием кода, нашел для вас старую библиотеку от Cloudflare для проверки IP в диапазоне. Не так давно скидывал в чаты ссылки на публичный JSON, где Google указал диапазоны своих краулеров, коллега сделал Github репозиторий, где собрал все в удобной форме. IP различных краулеров есть и на myip.ms, но этот файл нужно предварительно обрабатывать.

Update 10.11.2021: После моего поста Google внезапно выложил диапазоны IP краулеров и еще немножко.

P.S. Кстати, отличить бота, приходящего с консоли/сервисов от краулера можно по заголовкам, которые отдает, но не перестарайтесь, иначе заблокируете sitemap (спасибо Alex за наводку).

Автоматически генерируемые сайты для e-commerce affiliate (Amazon, Aliexpress и т.д.) Часть 2.

Классический дорвейный подход "копипарсинга". Собирает не так много трафика, подходит больше для нч, но если масштабировать на множество дропов, то уже будет поинтереснее. Главное, что схему можно полностью автоматизировать.

1. В поиске e-commerce проекта получаем топ товаров по ключу и берем, например, первые 10-20.

2. Переходим по каждому из товаров, где собираем названия, картинки (можно дополнительно спарсить с поисковых систем), описания карточек, цену, отзывы и т.д., примените фантазию откуда еще получить данные по товару.

3. Все собранные товары, включая информацию о них публикуем на одной страничке.

Пример есть на скриншоте, сайт из примера: https://smartwebshopper.com. Конечно, нужно сделать нормальную структуру, перелинковку. Слив можно осуществлять как по кнопке, так и редиректом на тот же поиск по ключу на e-commerce сайте (причем парсить можно с amazon, например, а редиректить на aliexpress).

Также, я рекомендую на данный момент использовать общепризнанную в дорвейной среде схему с кучей поддоменов, если не добавляете никакой ценности, им пока меньше грозят санкции за контент, хотя и трафика меньше получается.

Трафик на лучшей структуре

На днях коллега из диджитала скинул мне дискуссию на Hacker News, где люди обсуждают деградацию выдачи.

Зоркий глаз зацепился за тезисы об отсутствии в индексе некоторых репозиториев, сложности поиска технических запросов.

Github действительно частично зафильтрован Google'ом, так как там частенько загружают дорвеи и прочий мусор. Но дело не только в этом.

Очень часто подобные "тяжелые" проекты имеют ужасную структуру, которая сильно затрудняет жизнь поисковым роботам...что в свою очередь является возможностью для нас :)

Есть уже несколько сайтов, которые суть копируют Github, выбрал наиболее свеженький:
opensourcelibs.com

Сайт имеет хорошую структуру, которую любят краулеры, а в остальном копирует и удобно представляет информацию с Github'а (скорее всего по api получают).

А Github такой громоздкий не один...

Код линковки

Решил выложить небольшой скрипт линк-ротатора, который использовал для индексации страниц, которые плохо заходили в индекс. Располагал на своих купленных expired domain сайтах-дорвеях , которые не зашли по трафику, но ботов все же привлекали.

Принцип похож на тот, что используют злоумышленники на взломанных сайтах, но я адаптировал под использование на своих. Каждый раз при загрузке страницы выбирается указанное количество ссылок и выводится на странице. Результат не сохраняется, каждый раз ссылки будут выбираться случайно из списка.

<?php include_once('/var/www/html/linkfarm/linkfarm.php'); ?>

Вставьте строчку в код там, где нужно выводить ссылки, например сразу после <h1>, заменив путь к файлу скрипта на свой. Все настройки скрипта описаны в комментариях кода.

P.S. Еще одно видео на тему темной стороны SEO вышло у Олега на канале, где гостем является автор одного из кейсов, представленных у меня на канале: https://www.youtube.com/watch?v=6r0TWc2uldw