Разъяснения по спам-апдейту Google и спам-фильтрации.
23 июня в твиттере Google SearchLiaison объявили о спам-апдейте и множество людей переполошилось, некоторые спрашивали меня в ЛС, что вообще происходит.
Ребята, ничего нового не произошло, это те самые спам-апдейты, которые бывают каждые полгода, когда нам массово раздают ручники, падает трафик. Если вы часто следите за новостями Google'а, то могли заметить, что команда поиска в этом году в качестве эксперимента сообщают о всех изменениях. Наверное думали, что прекратится нытье вебмастеров, но оно только усилилось.
Также SearchLiaison выложили ссылку на апрельскую(!!) статью блога, где они рассказали про фильтрацию вебспама.
Поясню по каждой ступени:
1. Фильтруют во время краулинга. Это то самое "что-то в индекс не лезет", "гугл не хочет жрать дор". Пока не преодолеете эту стадию - трафика не будет.
2. Анализ после включения в индекс. Это тот самый фильтр "по site: 4 страницы.", "дор набрал немного трафика и затем гугл порезал", его как раз выкатили в декабре 2019-го и это не "берт", как многие считают и обвиняют. Чаще всего сайты живут от месяца (примерно), прежде чем применяется этот этап фильтрации.
3. Полуавтоматический анализ и ручники. Здесь уже команда гугла следит за необычно резкими всплесками трафика, высматривают новые схемы доров и выдают ручники, больше всего во время спам-апов.
Антиспам отдел Google работает отдельно от команды поиска, поэтому никакого отношения к основному алгоритму ранкинга они не имеют, это нужно уяснить в первую очередь (кстати, в этом отделе работают русскоязычные ребята). Также хочу сказать, что антиспам фильтрация работает на основе алгоритмов machine learning, включает в себя множество оцениваемых параметров, от этого и пляшем.

Как заглянуть за клоаку, посмотреть контент на PBN, даже если страницу очень хорошо спрятали.
1. Сайт за клоакой, не поставлен мета тег robots noarchive. Просто смотрим кэш гугла у страницы.
2. Сайт за клоакой по useragent. Меняем Useragent через расширение браузера, найти для своего браузера можно в Google по запросу "user agent switcher".
3. Сайт за клоакой на среднем уровне. Пробуем посмотреть через mobile-friendly, возможно разработчик клоаки не стал утруждаться.
4. Сайт недоступен по mobile-friendly, только по Reverse DNS именно для поискового бота google. Для этого нам понадобится сайт, который добавлен в Google Search Console (GSC). Создаем для сайта файл, например, php со следующим кодом <?php header("HTTP/1.1 301 Moved Permanently"); header('Location: https://domain.com/'); exit; ?>, заменяем https://domain.com/ на необходимую страничку, затем в GSC нажимаем Проверка URL, где вводим ссылку на файл на нашем сайте, который добавлен в консоль. После подгрузки информации по URL, жмем Проверить страницу на сайте. Далее нажимаем Изучить проверенную страницу и, благодаря редиректу, получаем данные со страницы за клоакой. (Редирект можно сделать для URL и с помощью правил веб-сервера, но я выбрал способ попроще)
Как видите, защититься от последнего способа сложнее.

Автоматически генерированный контент.
Мой коллега Илья немного опередил с написанием поста про контент.
Тем не менее, я хотел бы дополнить.
Text generated from scraping Atom/RSS feeds or search results. Да, гугл знает про контент на сниппетах и, вероятно, научился его определять, поэтому они и работают хуже.
Нас же интересует вот этот пункт - Stitching or combining content from different web pages without adding sufficient value. Как и сказал Илья, гугл прямо указывает на то, что можно использовать копипаст, но нужно добавить дополнительную ценность (тогда мы пройдем 2-й спам-фильтр гугла).
Для этого можно добавить, например, шаблонные тексты со спинтаксом, как в одном из предыдущих постов.
Также можно куски собранного текста скармливать predict моделям искусственного интеллекта (GPT, T5 и т.д.), чтобы они дополнили контент. Лучше всего вообще им задавать вопросы, так ответы получаются интереснее.
Попробуйте еще подумать, что может быть дополнительной ценностью, я добавил только два варианта, но это не предел.
Следует упомянуть, что я не считал минимальное количество текста с дополнительной ценностью для того, чтобы не срабатывала спам-фильтрация гугла - это нужно протестировать самостоятельно.

About This Result Panel.
22 июля вышла статья в блоге гугла, где они расширяют информацию по результатам выдачи в блоке About This Result. За это, как минимум, нужно сказать спасибо западным компаниям, которые потребовали от "корпорации зла" раскрыть, что влияет на ранжирование. Возможно, кстати, более открытое общение компании с вебмастерами, предупреждение о всех даже более мелких апдейтах - тоже результат давления на компанию.

Самое замечательное, что можно почерпнуть из статьи:

Related terms: Google also looks for terms that our systems determined are related to the words in your query. If you search “how to cook fish in the oven,” we’ll also look for pages that have related terms like “bake” and “recipe.”

Это вам не LSI-слова. Мне здесь видно, что используется векторное представление данных и контекстная близость. Кстати, BERT это развитие как раз архитектуры векторного представления слов.

Looking at links: When other pages link to a page using similar words as your query, that page might be relevant to your search. It can also be a helpful indicator of whether online content creators tend to regard the page as useful for that topic.

Тут прямо сказано, что упоминание слов из поискового запроса в анкоре на доноре - это хорошо и алгоритм учитывает в расчете релевантности. Также отсюда можно понять, что доноры должны быть из одного топика с ключевой фразой, т.е. когда происходит обработка информации из документа донора и акцептора, система должна определить, что оба документа принадлежат к одному топику. Из прикладных инструментов: вы можете проверять принадлежность текстов к одной категории в Cloud Natural Language.

Local relevance: Our systems also look at factors like the language you’re using to search as well as your country and location, to deliver content relevant for your area. For example, if you search "what day is trash pickup?,” it’s helpful to get results that are applicable to your city or state.

Тоже очень важный пункт, Google часто старается показывать локальную выдачу, если таковая есть. В своих исследованиях замечал, что бывает достаточно добавить упоминание города в документе в title и тело документа, чтобы Google посчитал, что данную статью необходимо ранжировать, даже если состоит она по большей части из копипаста, но здесь есть ньюанс, что это может мешать ранжироваться документу в других городах, регионах.

Олеся Коробка хорошо пояснила по векторам в этом посте. Также в посте есть ссылка на инструмент, который позволяет собирать контекстно близкие слова (Related terms из прошлого поста) из поиска, их гугл как раз подсвечивает жирным. Кстати, поэтому сниппеты включать в текст дорвеев даже хорошо, но делать это следует с умом и пользоваться не только ими (многие злоупотребляют).

По поводу статьи на VC
Сегодня меня несколько человек в лс спросили по поводу этой статьи. Также ее обсуждали в нескольких чатах коллеги, поэтому хочу немного объяснить данное явление.

>>Возможно при заходе с IP-адреса сканера Google мошенники показывают настоящее содержимое, но разработчик «притворился» Google и получил ту же картинку с главной страницы havfruen4220.dk.

Да, увидеть можно элементарно вот тут по мотивам 3-го пункта моего предыдущего поста.

>>Когда пользователь открывает страницу спам-домена, мошенники блокируют возможность вернуться в Google. Таким образом они «подсказывают» поисковым алгоритмам, что пользователь нашёл нужную информацию у них на сайте — так как не вернулся обратно в поисковую выдачу. Алгоритмы считают сайт «полезным» и ранжируют его ещё выше.
>>После того, как пользователю заблокировали возможность вернуться в выдачу, ему приходится искать информацию заново. Но он может забыть точную формулировку своего запроса и ищет нужный сайт уже по другой фразе.

Это предположение не является верным, Lospollos так делает на всех своих офферах, но при этом данная функция не помогает всем собирать миллионы трафика с дорвеев.

Я думаю, что вся "тема" здесь в .dk зоне, видимо ее google "жрет" так же хорошо, как другую европейскую зону, в удачном дроп-домене (таким может оказаться и не "жирный" домен) и в целом небольшом количестве сайтов в норвежской выдаче.

Профитные ниши
Коллеги по черному SEO периодически спрашивают, где найти жирные темы, поэтому я подготовил список тезисов:

- Многие высокопрофитные ниши в SEO можно найти среди запрещенных к рекламе в поиске (переходите по ссылкам, там больше конкретики). Компании в этих нишах принимают черносеошный траф. Кстати, в этих же нишах часто представлены конторы из "СНГ" и в них платят SEO-специалистам выше рынка.

- Просматриваем OfferVault, Partnerkin и т.д. на офферы, правда не все согласны принимать трафик с дорвеев, чаще всего это "серые" продукты. Просто отмывать трафик, сливая на сайт-прокладку уже не особо работает, досматривают качество трафика тщательно, но иногда партнерки сами готовы идти на подобный самообман, как это делают download ПП типа AdCenter. Если делаете "дорвеи для людей", без клоакинга и ворованного контента, то тут уже попроще.

- Профитные ниши, где платят много за лид - высокомаржинальные.

- Ниша может быть с невыской маржой, но иметь много низкочастотки, тогда можно выиграть на объемах.

- В профитных нишах перегрета цена клика в рекламе.

- Думаем в какой нише может быть много низкочастотных ключей, ищем офферы под нее.

- Смотрим подниши в партнерских программах, которые принимают дорвейный трафик, бывает так, что там и конкуренции меньше и доходы выше.

- Обязательно пользуемся Ahrefs или Semrush, чтобы оценить количество ключей, конкуренцию. Если высокой конкуренции с другими дорвейщиками/сеошниками нет, то можно даже на десятках тысяч ключей собирать трафик и получать доход.