Как заглянуть за клоаку, посмотреть контент на PBN, даже если страницу очень хорошо спрятали.
1. Сайт за клоакой, не поставлен мета тег robots noarchive. Просто смотрим кэш гугла у страницы.
2. Сайт за клоакой по useragent. Меняем Useragent через расширение браузера, найти для своего браузера можно в Google по запросу "user agent switcher".
3. Сайт за клоакой на среднем уровне. Пробуем посмотреть через mobile-friendly, возможно разработчик клоаки не стал утруждаться.
4. Сайт недоступен по mobile-friendly, только по Reverse DNS именно для поискового бота google. Для этого нам понадобится сайт, который добавлен в Google Search Console (GSC). Создаем для сайта файл, например, php со следующим кодом <?php header("HTTP/1.1 301 Moved Permanently"); header('Location: https://domain.com/'); exit; ?>, заменяем https://domain.com/ на необходимую страничку, затем в GSC нажимаем Проверка URL, где вводим ссылку на файл на нашем сайте, который добавлен в консоль. После подгрузки информации по URL, жмем Проверить страницу на сайте. Далее нажимаем Изучить проверенную страницу и, благодаря редиректу, получаем данные со страницы за клоакой. (Редирект можно сделать для URL и с помощью правил веб-сервера, но я выбрал способ попроще)
Как видите, защититься от последнего способа сложнее.

Автоматически генерированный контент.
Мой коллега Илья немного опередил с написанием поста про контент.
Тем не менее, я хотел бы дополнить.
Text generated from scraping Atom/RSS feeds or search results. Да, гугл знает про контент на сниппетах и, вероятно, научился его определять, поэтому они и работают хуже.
Нас же интересует вот этот пункт - Stitching or combining content from different web pages without adding sufficient value. Как и сказал Илья, гугл прямо указывает на то, что можно использовать копипаст, но нужно добавить дополнительную ценность (тогда мы пройдем 2-й спам-фильтр гугла).
Для этого можно добавить, например, шаблонные тексты со спинтаксом, как в одном из предыдущих постов.
Также можно куски собранного текста скармливать predict моделям искусственного интеллекта (GPT, T5 и т.д.), чтобы они дополнили контент. Лучше всего вообще им задавать вопросы, так ответы получаются интереснее.
Попробуйте еще подумать, что может быть дополнительной ценностью, я добавил только два варианта, но это не предел.
Следует упомянуть, что я не считал минимальное количество текста с дополнительной ценностью для того, чтобы не срабатывала спам-фильтрация гугла - это нужно протестировать самостоятельно.

About This Result Panel.
22 июля вышла статья в блоге гугла, где они расширяют информацию по результатам выдачи в блоке About This Result. За это, как минимум, нужно сказать спасибо западным компаниям, которые потребовали от "корпорации зла" раскрыть, что влияет на ранжирование. Возможно, кстати, более открытое общение компании с вебмастерами, предупреждение о всех даже более мелких апдейтах - тоже результат давления на компанию.

Самое замечательное, что можно почерпнуть из статьи:

Related terms: Google also looks for terms that our systems determined are related to the words in your query. If you search “how to cook fish in the oven,” we’ll also look for pages that have related terms like “bake” and “recipe.”

Это вам не LSI-слова. Мне здесь видно, что используется векторное представление данных и контекстная близость. Кстати, BERT это развитие как раз архитектуры векторного представления слов.

Looking at links: When other pages link to a page using similar words as your query, that page might be relevant to your search. It can also be a helpful indicator of whether online content creators tend to regard the page as useful for that topic.

Тут прямо сказано, что упоминание слов из поискового запроса в анкоре на доноре - это хорошо и алгоритм учитывает в расчете релевантности. Также отсюда можно понять, что доноры должны быть из одного топика с ключевой фразой, т.е. когда происходит обработка информации из документа донора и акцептора, система должна определить, что оба документа принадлежат к одному топику. Из прикладных инструментов: вы можете проверять принадлежность текстов к одной категории в Cloud Natural Language.

Local relevance: Our systems also look at factors like the language you’re using to search as well as your country and location, to deliver content relevant for your area. For example, if you search "what day is trash pickup?,” it’s helpful to get results that are applicable to your city or state.

Тоже очень важный пункт, Google часто старается показывать локальную выдачу, если таковая есть. В своих исследованиях замечал, что бывает достаточно добавить упоминание города в документе в title и тело документа, чтобы Google посчитал, что данную статью необходимо ранжировать, даже если состоит она по большей части из копипаста, но здесь есть ньюанс, что это может мешать ранжироваться документу в других городах, регионах.

Олеся Коробка хорошо пояснила по векторам в этом посте. Также в посте есть ссылка на инструмент, который позволяет собирать контекстно близкие слова (Related terms из прошлого поста) из поиска, их гугл как раз подсвечивает жирным. Кстати, поэтому сниппеты включать в текст дорвеев даже хорошо, но делать это следует с умом и пользоваться не только ими (многие злоупотребляют).

По поводу статьи на VC
Сегодня меня несколько человек в лс спросили по поводу этой статьи. Также ее обсуждали в нескольких чатах коллеги, поэтому хочу немного объяснить данное явление.

>>Возможно при заходе с IP-адреса сканера Google мошенники показывают настоящее содержимое, но разработчик «притворился» Google и получил ту же картинку с главной страницы havfruen4220.dk.

Да, увидеть можно элементарно вот тут по мотивам 3-го пункта моего предыдущего поста.

>>Когда пользователь открывает страницу спам-домена, мошенники блокируют возможность вернуться в Google. Таким образом они «подсказывают» поисковым алгоритмам, что пользователь нашёл нужную информацию у них на сайте — так как не вернулся обратно в поисковую выдачу. Алгоритмы считают сайт «полезным» и ранжируют его ещё выше.
>>После того, как пользователю заблокировали возможность вернуться в выдачу, ему приходится искать информацию заново. Но он может забыть точную формулировку своего запроса и ищет нужный сайт уже по другой фразе.

Это предположение не является верным, Lospollos так делает на всех своих офферах, но при этом данная функция не помогает всем собирать миллионы трафика с дорвеев.

Я думаю, что вся "тема" здесь в .dk зоне, видимо ее google "жрет" так же хорошо, как другую европейскую зону, в удачном дроп-домене (таким может оказаться и не "жирный" домен) и в целом небольшом количестве сайтов в норвежской выдаче.

Профитные ниши
Коллеги по черному SEO периодически спрашивают, где найти жирные темы, поэтому я подготовил список тезисов:

- Многие высокопрофитные ниши в SEO можно найти среди запрещенных к рекламе в поиске (переходите по ссылкам, там больше конкретики). Компании в этих нишах принимают черносеошный траф. Кстати, в этих же нишах часто представлены конторы из "СНГ" и в них платят SEO-специалистам выше рынка.

- Просматриваем OfferVault, Partnerkin и т.д. на офферы, правда не все согласны принимать трафик с дорвеев, чаще всего это "серые" продукты. Просто отмывать трафик, сливая на сайт-прокладку уже не особо работает, досматривают качество трафика тщательно, но иногда партнерки сами готовы идти на подобный самообман, как это делают download ПП типа AdCenter. Если делаете "дорвеи для людей", без клоакинга и ворованного контента, то тут уже попроще.

- Профитные ниши, где платят много за лид - высокомаржинальные.

- Ниша может быть с невыской маржой, но иметь много низкочастотки, тогда можно выиграть на объемах.

- В профитных нишах перегрета цена клика в рекламе.

- Думаем в какой нише может быть много низкочастотных ключей, ищем офферы под нее.

- Смотрим подниши в партнерских программах, которые принимают дорвейный трафик, бывает так, что там и конкуренции меньше и доходы выше.

- Обязательно пользуемся Ahrefs или Semrush, чтобы оценить количество ключей, конкуренцию. Если высокой конкуренции с другими дорвейщиками/сеошниками нет, то можно даже на десятках тысяч ключей собирать трафик и получать доход.

Маскировка под GoogleBot через подмену хоста

И снова про ReverseDNS и нерадивых разработчиков. Как мы знаем из этой статьи, при выполнении DNS-запроса по IP адресу GoogleBot отдает доменное имя .googlebot.com или .google.com, например crawl-66-249-66-1.googlebot.com, где crawl-66-249-66-1 - это имя хоста.

Очень многие разработчики не понимают специфики и важности правильной проверки, поэтому просто ищут вхождение подстроки в строку, например в PHP через функцию strpos(). Если злоумышленник заменит имя хоста, например на crawl-66-249-66-1.googlebot.com.randomdomain.com, то ваша проверка по DNS запросу выдаст положительный результат, так как вхождение в строку есть.

Поэтому очень важно проверять именно конец строки, а не просто вхождение. В PHP 8 наконец появилась функция str_ends_with(), которая реализует то, что нам нужно, но если у вас PHP более ранней версии, то можно использовать следующую функцию:

function endsWith($string, $endString) {
$len = strlen($endString);
if ($len == 0) {
return TRUE;
}
return (substr($string, -$len) === $endString);
}

За наводку спасибо @realefs

P.S. спасибо @glav_hack за публикацию, очень приятно.

Должен сделать уточнение к данному посту.

Есть те, кто не понял, что randomdomain.com в crawl-66-249-66-1.googlebot.com.randomdomain.com - это любой домен, который принадлежит злоумышленнику, поэтому при прямом DNS запросе полученного хоста он сможет отдать IP, к которому изначально делал обратный DNS запрос.

Я знаю, что PTR запись можно полностью подменить даже на ту, которую Google отдает, но в таком случае при прямом DNS запросе можно будет увидеть подмену, поэтому Google и сделал такой алгоритм проверки в статье.

P.S. Люди интересуются откуда познания: учился на технической кибернетике, диплом связан с Data Mining, преподавал основы компьютерных сетей, проходил сертификации CCNA, MCSA и RHCSA.

Новый парсер в A-Parser'е

После моего вопроса в публичном чате A-Parser'а о возможности подключения библиотеки Readability.js (лучшая альтернатива устаревшей библиотеке Boilerpipe), которая в большинстве случаев вытаскивает тело контента из документа, команда A-Parser внедрили полноценный парсер HTML::ArticleExtractor в альфа-версии! Приятно, что принес пользу коллегам.

Судя по переменным, которые доступны, можно извлекать контент, как с html тегами, так и без них, получать title страницы, длину статьи, автора, название сайта, description или короткую выжимку контента, в общем, доступен весь функционал библиотеки + настройки как в парсере HTML::TextExtractor, благодаря которым я паршу даже самые стойкие сайты.

Использовать данный парсер можно:

- Для извлечения контента с сайтов собранных из топа поисковых систем и последующего использования для генерации контента.

- На автомате извлекать и затем анализировать контент посредством API сервисов, библиотек обработки естественных языков (NLP).

- Извлекать контент, затем прогонять через встроенный в A-Parser Deepl::Translator, чтобы на автомате переводить тексты на другие языки.

- Также для контента, который прогнали через переводчики, можно сделать обратный перевод, что в ряде случаев приводит к рерайту статьи на языке оригинала.

И многие другие варианты применения...

Кстати, для очистки контента от ненужных пробельных символов нужно в выводе результата прибавить collapse, например $p1.textContent.collapse.

P.S. Поставил рефку в ссылку в начале статьи, раз уж есть партнерка, но за рекламу мне не платили, пишу только об инструментах, которыми пользуюсь сам. Считаю, что это один из самых нужных инструментов вебмастера, хоть и довольно сложный. Конечно, можно самому писать парсеры и постоянно их обновлять, либо платить программисту, но я предпочитаю экономить время и деньги.

Обновление How Google Search Works

Как уже известно, Google обновил свой сайт, где они объясняют работу поиска. Изменений там практически нет: изменили формулировки, в Usability просто оставили ссылку на Page Experience, вместо объяснений. Но мой взор зацепился за различия следующих кусков текста:

Было
>For example, if other prominent websites link to the page (what is known as PageRank), that has proven to be a good sign that the information is well trusted. Aggregated feedback from our Search quality evaluation process is used to further refine how our systems discern the quality of information.

Стало
>For example, one of several factors we use to help determine this is understanding if other prominent websites link or refer to the content. This has often proven to be a good sign that the information is well trusted. Aggregated feedback from our Search quality evaluation process is used to further refine how our systems discern the quality of information.

Во-первых, они убрали упоминание Pagerank и вообще заменили слово page на content, во-вторых, они добавили "or refer" рядом с link. Первое согласуется с тем, что они теперь точнее понимают контексты в контенте, да и последние изменения в показе серпа об этом говорят, а второе - это намек на cite и blockquote?

Это просто размышления, и, возможно, я просто страдаю СПГС, но для понимания Google'а часто нужно читать между строк.

Автоматически генерируемые сайты для e-commerce affiliate (Amazon, Aliexpress и т.д.) Часть 1.

Этим постом я открываю серию про e-commerce сайты. Меня не в первый раз спрашивают про контент для них, но без тестов и примеров я не хотел что-либо выкладывать.

Первое и самое простое: товарный фид + локальность.
Как пример, вот этот сайт, хотя он уже санкции схватил, но это хороший пример, что не amazon'ом единым, на локальных рынках есть свои игроки (здесь Яндекс.Маркет) и я рекомендую идти в страны, где меньше конкуренции.

Лучше всего 1 домен - 1 город, а то при однотипном контенте, одном товарном фиде на множество городов можно схватить thin content, что, наверное, и случилось с этим сайтом. Локальностью мы придаем дополнительную ценность нашему сайту. Возможно, даже лучше делать конкретную группу товаров на один домен, это не успел проверить.

Делаем небольшой шаблон для текстов, лучше не как в примере под фидом, а как нужно после апов этого года - в первом экране просмотра. В примере не особо старались с текстом, рекомендую сделать получше.

Нужна хорошая структура сайта, как делают в e-commerce магазинах, не просто рандом, как привыкли большинство дорвейщиков. Так же рекомендую внедрить фильтры, обычно партнерки отдают все необходимые данные.

Помните, что сгенерированные сайты попадают стабильно под санкции и это не должно быть для вас неожиданностью, делайте больше, но в пределах разумного, чтобы ваш паттерн быстро не вычислили и будет вам счастье.

P.S. Не пишите, пожалуйста, с коммерческими предложениями и "бартерами" - канал некоммерческий.

Дорогой Девака, здесь никакой не AI-generated, а контент на 100% сделан из спаршенных блоков Featured Snippet + People Also Ask в Google, просто за время существования сайта содержимое блоков поменялось, многие сайты переписали свои тексты.

Вот тема на BHW, где эти сайты спалили еще в прошлом году. Не просто так большой популярностью пользуется этот пресет A-Parser. Они даже собираются добавить парсинг PAA непосредственно в сам парсер Google.

Я проводил в этом году тесты с подобными сайтами: на дропах мне быстро приехали санкции 2 ступени антиспама, видимо лучше делать на свежерегах, их почему-то гугл перестал так жестко отслеживать, как он сейчас следит за дропами.

Техника скрытого "пирога"

Опытные сеошники знают, что взломанные сайты называют "пирогами", их могут использовать для размещения ссылок, но некоторые злоумышленники используют их, как площадки для размещения сгенерированных страниц (могут залить статику, но чаще заливают php файл или встраивают прямо в код ваших текущих).

Google рекомендует следить за изменениями трафика в Google Search Console, искать у себя на сайте дорвейные ключи по site:domain.com, а также он выдает плашку "This site may be hacked".

Но есть ситуация, когда никаких изменений с сайтом нет и не будет. Вроде очевидно, но не все об этом думают:

Вместо домена используют IP, к которому привязан ваш домен.

В GSC никаких изменений не будет зафиксировано, плашка о взломе скорее всего не появится, но по адресу, например, http://1.2.3.4/doorway.php?=keyword будет индексироваться страничка и нести трафик злоумышленнику.

В начале года я нашел в выдаче дорвей и отслеживал его, жил для "пирога" довольно долго, но схватил санкции Google за контент.

Дорвей-ракета

useenglishwords.com - отметился в рубрике winners & losers Semrush'а.

Очень классный пример заработка на Adsense, тут и People Also Ask, и сниппеты, как примеры предложений. Звуковые файлы произношения и прочие сервисы, к которым можно получить доступ. Интересно посмотреть насколько он будет long term.

Самое классное тут - график трафика. To The Moon!

Не проверяйте бота по "Reverse DNS"

Некоторые "специалисты" по PBN, специалисты по дорвеям рекомендуют пользоваться проверкой бота по способу, который описан в документации Google.

Но есть проблема: если часто делать запросы к DNS серверу, то скорее всего ваш IP просто забанят, либо увеличат timeout. На некоторых хостингах можно ожидать ответа по 5 секунд, есть примеры, где люди на это жалуются, например, здесь и здесь.

Лучше проверять ботов по диапазону IP: краулеры ходят с известных диапазонов, а другие боты гугла могут ходить вообще с иных ASN.

Чтобы не заморачиваться с написанием кода, нашел для вас старую библиотеку от Cloudflare для проверки IP в диапазоне. Не так давно скидывал в чаты ссылки на публичный JSON, где Google указал диапазоны своих краулеров, коллега сделал Github репозиторий, где собрал все в удобной форме. IP различных краулеров есть и на myip.ms, но этот файл нужно предварительно обрабатывать.

Update 10.11.2021: После моего поста Google внезапно выложил диапазоны IP краулеров и еще немножко.

P.S. Кстати, отличить бота, приходящего с консоли/сервисов от краулера можно по заголовкам, которые отдает, но не перестарайтесь, иначе заблокируете sitemap (спасибо Alex за наводку).