⚙️ 6 переобученных компонентов Google

Новые вещественные доказательства уже много где подробно описаны, в том числе компоненты, у меня столько времени свободного, к сожалению, нет. Работать надо 🙂

Я же хочу немного добавить от себя по данному вещественному доказательству, которое взбудоражило всё западное сообщество SEO.

Презентация от 15.11.23 - свежая! Douglas W. Oard - приглашенный эксперт в области информационного поиска, который опровергает показания эксперта Google Edward A. Fox про слабое влияние юзерских данных от 19.08.22. Причем судя по презентации здесь имеют в виду в первую очередь именно выставление рейтинга оценщиками качества (Quality Raters). На основе выставленных оценок получают метрику Information Satisfaction Score (IS), которая на 2021-й год имеет 4-ю версию (IS4).

По показаниям Fox’а данные оценщиков для переобучения используются только в 6 компонентах ранжирования, но Oard правильно отмечает, что компонент Glue среди них не представлен, хотя судя по всему именно он используется сейчас, как более прогрессивная модель, учитывающая особенности мобильной выдачи и блоков Google, а не Navboost.

Navboost

- логи запросов и кликов сводятся в таблицы, включая подсчеты из обучения. Затем судя по всему рейтинги IS поиска вносят изменения в конечные результаты данного компонента.

RankBrain

- обучается на основе пар предпочтений по кликам. Затем дорабатывается на основе рейтинга IS. Работает с униграммами и биграммами.

DeepRank

- предобучен на документе (URL, заголовок и salient terms) и запросах/локалях

, а затем на данных о точечных и парных кликах. Затем дорабатывается на основе IS. Работает с фрагментами слов.

Query based salient terms (QBST)

- обучается на документах и логах запросов/кликов. Интеграция в ранжирование обучена на рейтинге. Работает с униграммами и биграммами.

Term Weighting

- обучается на логах запросов/кликов. Интеграция в ранжирование обучена на рейтинге.

RankEmbed-BERT

- обучается на документах, запросах, логах кликов и рейтинге. Используются salient terms и данные Navboost.

Для себя я подметил в очередной раз, что Google токенизирует 1-2 словники, поэтому триграммы получать из текста смысла нет и не было!

Часто используется термин salient terms. Этот термин я встречал в патенте гугл на извлечение интересных фактов. Также из интересного в новой версии API для NLP от Google они больше не дают параметр salience. В старой этот параметр есть. Но думаю вполне можно будет заменить векторным подходом, считая семантические близости.

И забудьте уже про LSI-слова! Это показывает, что вы не разбираетесь в западном SEO. 😐

Из интересного: судя по слайдам оценщики поиска проводят оценку только для топ-5 позиций, включая блоки выдаваемые Google.

Bing превосходит Google по фичам

Из вещественных доказательств по делу U.S. and Plaintiff States v. Google LLC меня заинтересовала презентация Google от 2020-го года, в которой они сравнивали Desktop выдачу Bing и Google.

Кратко:

Сравнение Bing и Google проводилось по 500 популярным в США запросам с использованием двух различных методов серп к серпу:

- Полный скрэйпинг страницы (в Bing не учитывалось местоположение пользователя)
- По линкам онлайн (когда участники исследования открывали динамическую ссылку на запрос в своем браузере и оценивали свои впечатления).

Обе методики показали, что Google сильнее в ранжировании (авторитетность, локальный контекст), а Bing - в разнообразии фич и интерактивности результатов.

Для меня это еще одно подтверждение, что фичи Bing'а - это отличный источник контента для дорвеев. На 2023 их становится только больше и их качество стало лучше, а Google все еще по моим ощущениям проигрывает.

И да, если ваш контент из блоков Bing'а не живет и месяца, то проблема скорее всего в другом ;)

Все материалы дела U.S. and Plaintiff States v. Google LLC

На сайте justice.gov материалы дела не отсортированы по датам и выкладываются в разнобой, поэтому я написал простенькую программу, которая парсит данные со страницы и сортирует по датам от новых к старым. Актуальный результат складывается в эту таблицу для удобства:

https://docs.google.com/spreadsheets/d/1TU6UxMNdWFiKjCgM0tp94je1niWFL7Scpg-T2ZkGwxo/edit?usp=sharing

Дорвеи засрали интернет

Многие уже заметили, как интернет засрали дорвеи .de, .pl и прочие, даже в западных интернетах уже бьют тревогу.

А схема очень простая и старая: индекс и ссылки. Причем использовать можно собственные неудачные или отработавшие expired-домены.

Контент на использованных доменах и субдоменах:

⚙️ Мешанка по ключевым запросом из сниппетов с ссылками и блоками ссылок. Пример: https://webcache.googleusercontent.com/search?q=cache:https://mxqzsnpbw.digiterrio.fr/

Контент на новых доменах:

⚙️ Мешанка по ключевым запросом из сниппетов, причем можно без ссылок Пример: https://webcache.googleusercontent.com/search?q=cache:https://bartlomiejslowinski.pl/myfreecam-mobile.html.

У меня нет полной картины, поскольку я не создатель этих сеток, но основные моменты были протестированы мной еще несколько лет назад, поэтому ниже я скорее опишу основы своей схемы, чем той, которую используют в примерах.

Как получить индекс?

В основном, с помощью редиректа поискового бота. Но для этого нужно понимать поведение GoogleBot:

ℹ️ Cамая любимая страница GoogleBot это главная страница. На основной домен заходит чаще, но и морды субдоменов не обделены вниманием. Повторные заходы бывают чаще, чем на страницы следующих уровней.

ℹ️ Внимание к страницам падает с каждым последующим уровнем, причем вероятность повторного захода стремится к нулю.

ℹ️ Видимо, многие сейчас, как и я когда-то, выбрали тактику каждый раз создавать новую ссылку в контенте с главной страницы или субдомена на случайную внутреннюю (asdasd.example.com/aa/singles-in-jericho.html), где уже делают редирект бота на целевую страницу.

Редиректы делаем:

➡️ На новый дроп и его подстраницы, которые хотим загнать в индекс

➡️ На субдомены отработанных доменов внутри фермы, чтобы загнать их в индекс, откуда бот тоже пойдет по ссылкам

Как получить ссылки?

📎 После того, как домен отработан, те же поддомены, которые используем для индексации, используем для ссылок на новые страницы нового купленного дропа.

📎 Хорошей практикой будет делать именно tiered link, когда у нас есть ссылочная ферма, которая помимо прочего передает ссылочный вес внутри фермы, как горизонтально, так и вертикально.

Причем ферма ссылок и редиректов тоже приносит трафик и встречается в топах, просто трафика меньше, основные топы всегда будет занимать первый уровень доменов.

Дорвеи засрали интернет 2: Возвращение линкспама

На SEJ вышла статья с разбором сетки дорвеев, которая попадается по запросу craigslist used auto parts, где автор считает, что успех обусловлен под влиянием трех факторов:

🏘️

Ключевые запросы заточены под локальный поиск.

Не секрет, что Google использует отдельный алгоритм для локального поиска, я сам неоднократно пользовался его несовершенством, создавая programmatic сайты.

🐍

Ключевые запросы заточены под лонгтейл.

Здесь тоже ни для кого не секрет, что ориентировать на редкие запросы эффективно при создании больших сайтов или вебспаме.

🪟

Окно ранжирования для новых сайтов.

В этой части интернета не все знают, но Джон Мюллер сообщал, что для свежих сайтов есть некоторое послабление. Google не имеет достаточных данных о сайте, поэтому ему сложно понять, как его ранжировать, вследствие в самом начале пути сайт может ранжироваться лучше, чем по прошествии времени.

Автор не заметил, что для дорвеев используют expired'ы, но возможно они попадают в это окно, как свежезарегистрированные.

Автор упоминает Билла Хартцера, который построил link graph в Majestic для одного из дорвеев. Скриншот из его твиттера я приложил к посту. Как видим, это такая мощная линк сетка, которая очевидно является спамной.

У меня в это году появилось 2 гипотезы:

📎 Либо в каком-то из апдейтов усилили влияние ссылок, потому что в некоторых нишах сайты с мощных ссылочным в конкретных регионах начали занимать слишком много позиций по одному запросу.

📎 Либо очень сильно ослабили ссылочный антиспам, поэтому и полезли всевозможные дорвеи в топы.

🤔 Многие задаются вопросом: почему гугл вообще ранжирует спамные техники, если он все равно их банит? Мое мнение, что Google не будет вмешиваться в алгоритм ранжирования ради того, чтобы дорвеи не лезли в топ, это может нарушить ранжирование белых сайтов. Также предполагаю, что профилактика затратнее, чем выкашивание сайтов по факту, а руководство вполне устраивает этот временной гэп, который нужен для автоматического и ручного бана вебспама.

Таксономии от Google

У Google есть готовые таксономии для категорий контента, а также продуктовые категории. Первые таксономии подходят для контентных сайтов, вторые для коммерции.

Content Categories:

https://cloud.google.com/natural-language/docs/categories

Google Product Taxonomy:

https://www.google.com/basepages/producttype/taxonomy.en-US.txt

Google становится хуже? Мнение ученых!

В своем исследовании Is Google Getting Worse? A Longitudinal Investigation of SEO Spam in Search Engines немецкие ученые из Leipzig University, Bauhaus-Universität Weimar и ScaDS.AI озадачились вопросом ухудшения результатов поиска.

Коротко об исследовании:

ℹ️ В рамках исследования были проанализированы ТОП-20 поисковых систем Google (парсили правда Startpage), Bing и DuckDuckGo в течение года по 7,392 запросам на обзоры товаров.

ℹ️ Выбраны ключевые запросы по шаблону "best product category", где категории товаров брали из таксономий Google и GPC. Ученые постарались добавить в том числе ключи с длинным хвостом.

ℹ️ Эталонным поиском выбрали основанный на алгоритме BM25 поисковый движок ChatNoir, который имеет доступ к базе ClueWeb22B, содержащей 200 миллионов популярных в интернете страниц.

ℹ️ Извлекали On-page факторы, определяли является ли страница обзором, анализировали аффилиатные ссылки, категоризировали сайты.

Коротко о выводах:

🔸 В первом анализе исследуется тип контента, получаемого по запросам об обзорах товаров, и степень влияния SEO на ранжирование. Обнаружена сильная корреляция между атрибутами качества на уровне страницы и рейтингом в поисковой системе, указывающая на то, что страницы с более высоким рейтингом, как правило, более оптимизированы для SEO, больше монетизируются с помощью партнерского маркетинга и демонстрируют признаки более низкого качества текста.

🔸 Во втором анализе рассматривается, как результаты поиска меняются с течением времени и улучшают ли обновления поисковых систем качество результатов. Отмечается, что поисковые системы, особенно Google, активно борются с SEO и партнерским спамом, демонстрируя заметные, но кратковременные улучшения. Несмотря на некоторое снижение количества партнерского спама с начала эксперимента, наблюдается общая тенденция к снижению качества текстов во всех основных поисковых системах.

Google разрывает контракт с оценщиками качества поиска

Appen объявили, что их взаимоотношения с Google закончатся 19 марта 2024-го. А ведь год назад оценщики качества протестовали в целях добиться повышения оплаты труда и даже получили повышение.

Ждем подобных новостей от LionBridge, Teemwork.ai.

Искусственный интеллект продолжает оставлять людей без работы...

Заметки из исследования товарных обзорников от немецких ученых

🔸 Не стоит ориентироваться только на Type-Token Ratiо (TTR), лучше коррелирует с позициями Function Word Ratio (FWR).

🔸 Корреляцию с позициями показала характеристика читабельности Flesch Reading Ease.

🔸 Страницы с более высоким рангом имеют меньшее соотношение <p> и <h[1-6]>.

🔸 Количество ссылок или изображений на странице уменьшается с позицией и только приблизительно линейно коррелируют до 10-го ранга, а затем меняют направление.

🔸 Интересно, что хоть TTR хуже коррелирует с позициями, но страницы обзоров с использованием партнерского маркетинга в среднем имеют самый низкий уровень TTR. Страницы обзоров без партнерских ссылок и необзорные страницы с партнерскими ссылками имеют чуть более высокий TTR, а необзорные страницы без партнерских ссылок - самый высокий.

🔸 После апдейтов среднее число аффилиат ссылок на страницу падает, хоть и в промежутках между апами вырастает.

Учитывайте, что в разных группах запросов и нишах результаты могут меняться, выводы ученых касаются только выбранной ими группы!

Код считающий FWR, TTR и FRE

Написал код, который считает для английского текста Function Word Ratio, Type-Token Ratiо и Flesch Reading Ease.

!pip install spacy_syllables
!python -m spacy download en_core_web_sm

import spacy
from spacy_syllables import SpacySyllables

# Load the spaCy model
nlp = spacy.load('en_core_web_sm')
nlp.add_pipe('syllables', after='tagger')

def calculate_fwr_ttr_fre(text):
    # Process the text with spaCy to tokenize and apply other NLP tasks
    doc = nlp(text.lower())

    # Count total words, sentences, syllables, and function words
    total_words = len(doc)
    total_sentences = len(list(doc.sents))
    total_syllables = sum(token._.syllables_count for token in doc if token._.syllables_count is not None)
    function_words_count = sum(token.is_stop for token in doc)

    # Calculate Function Words Ratio
    fwr = function_words_count / total_words if total_words > 0 else 0

    # Calculate Type-Token Ratio
    unique_words = set(token.text for token in doc)
    ttr = len(unique_words) / total_words if total_words > 0 else 0

    # Calculate Flesch Reading Ease
    fre = (206.835 - 1.015 * (total_words / total_sentences) - 84.6 * (total_syllables / total_words)) if total_words > 0 and total_sentences > 0 else 0

    return fwr, ttr, fre

# Change filename in code line below
with open('filename.txt', 'r') as file:
# Read the contents of the file
text = file.read()
fwr, ttr, fre = calculate_fwr_ttr_fre(text)
print("Function Words Ratio:", fwr)
print("Type-Token Ratio:", ttr)
print("Flesch Reading Ease:", fre)

В системе должна быть установлена библиотека spacy. Либо вы можете воспользоваться ссылкой на Colab и запустить скрипт в облаке Google.

Similarweb прислали письмо о запуске Backlink Analytics tool. Еще один инструмент для проверки ссылок в копилочку.

Апдейты и новые правила в отношении спама

Если кто еще не видел, то гугл анонсировал сразу два апдейта - Core и Spam.
Больше всего внимание привлекает новая политика в отношении спама. К сожалению, дорвейщики слишком привлекли внимание Google'ров в прошлом году.

Злоупотребление Expired-доменами

Злоупотребление заключается в покупке истекшего доменного имени и его повторном использовании в основном с целью манипулирования ранжирование за счет размещения контента с малой ценностью или ценность контента отсутствует. Примеры:

🔸 Affiliate-сайт на домене, ранее использовавшемся государственным агентством
🔸 Продажа коммерческих медицинских продуктов на сайте, ранее использовавшемся некоммерческой медицинской благотворительной организацией
🔸 Контент, связанный с казино, на сайте бывшей начальной школы

Злоупотребление масштабируемым-контентом

Злоупотребление созданием контента в больших масштабах происходит, когда множество страниц генерируется с первостепенной целью манипулирования ранжированием, а не для помощи пользователям. Эта практика злоупотребления обычно сосредоточена на создании большого количества неоригинального контента, который мало чем полезен для пользователей, независимо от того, как он создан.

Примеры:

🔸 Использование инструментов генеративного ИИ или других похожих инструментов для генерации множества страниц без добавления ценности для пользователей
🔸 Скрейпинг лент, результатов поиска или другого контента для генерации множества страниц (включая автоматизированные изменения, такие как использование синонимов, перевод или другие техники), где пользователю предоставляется мало ценности.
🔸 Объединение контента с разных веб-страниц без добавления ценности
🔸 Создание множества сайтов с целью скрыть масштабы
🔸 Создание множества страниц, где содержание малоценно для читателя, но содержит ключевые слова для поиска

Если вы размещаете такой контент на своем сайте, исключите его из Поиска.

Продолжение в след. посте.

Злоупотребление репутацией сайта

Злоупотребление репутацией происходит, когда сторонние страницы публикуются с малым или без какого-либо надзора или участия владельца сайта, с целью манипулирования ранжированием за счет использования высокого ранга домена. Такие страницы включают в себя спонсорские, рекламные, партнерские или другие, которые обычно отличаются от основной цели сайта и предоставляют мало или совсем не приносят пользы пользователям.

Примеры:

🔸 Образовательный сайт, размещающий страницу с обзорами быстрых займов, написанными сторонними лицами, которые распространяют эту страницу по всему интернету, с целью манипулирования ранжированием.
🔸 Медицинский сайт, на котором размещена страница о "лучших казино", созданная с целью манипулирования ранжированием, с малым участием или без участия владельца сайта.
🔸 Сайт рецензий на фильмы, на котором размещены сторонние страницы на темы, которые были бы странными для пользователей сайта (такие как "способы покупки подписчиков на сайтах социальных сетей", "лучшие сайты гадалок", и "лучшие сервисы написания эссе"), где цель заключается в манипулировании ранжированием.
🔸 Спортивный сайт, на котором размещена сторонняя страница об "обзорах добавок для тренировок", при этом редакционный состав спортивного сайта имел мало участия или совсем не участвовал в контенте, и основная цель размещения страницы - манипулирование ранжированием.
🔸 Новостной сайт, размещающий сторонние купоны, с малым или без участия сайта, и где основная цель - манипулирование ранжированием.

Если вы размещаете страницы, нарушающие эту политику, исключите этот контент из индексации поисковой системы.

Примеры, которые НЕ считаются злоупотреблением:

🔸 Сайты служб новостей или служб пресс-релизов
🔸 Новостные публикации, имеющие синдицированные новостной контент из других новостных публикаций
🔸 Сайты, предназначенные для создания контента пользователями, такие как форумы или разделы комментариев
🔸 Колонки, мнения, статьи и другие редакционные материалы, где есть тесное участие или рецензирование со стороны владельца сайта
🔸 Сторонний контент (например, страницы типа "advertorial" или "нативная реклама"), созданный при тесном участии владельца сайта, где цель состоит в том, чтобы делиться контентом напрямую с читателями (например, через продвижение в самом издании), а не размещать контент для манипулирования ранжированием
🔸 Встраивание сторонних рекламных блоков на странице или использование партнерских ссылок на всей странице, в соответствии с правилами для ссылок
🔸 Купоны, размещенные с тесным участием владельца сайта

🔁Регулярные выражения для поиска с исключением

Очень часто сеошнику необходимо удалить все строки, кроме тех, что имеют какое-то вхождение подстроки.

Один из быстрых и доступных способов - это использование замены с помощью регулярного выражения в текстовом редакторе.

Для примера используем вхождение "string".

Найти и заменить все строки, кроме:

- Начинающихся со string
^(?!string).*$

- Заканчивающихся на string
^.*(?<!string)$

- Содержащих string
^(?!.*string).*$

- Равных string
^(?!string$).*$

Найти и заменить пустые строки вы можете в зависимости от вашей операционной системы с помощью регулярок:
^\n
или
^\r\n

ℹ️ Если вы не знаете, что такое регулярное выражение, загуглите возможность использования его в вашем текстовом редакторе (Notepad++, Sublime и т.д.)

Слив документации команды поиска Google

Rand Fishkin поделился в блоге, что с ним связался анонимный источник, который утверждал, что имеет доступ к сливу документации к API от внутреннего подразделения поиска Google. В дальнейшем этот источник показал сам слив, включающий 2500 страниц документации с 14014 атрибутов из Content API Warehouse. В истории документов указано, что код был залит на Github 27 мар 2024-го и пробыл там до 7 мая 2024.

Чтобы убедиться в достоверности, Rand Fishkin связался с более технически прошаренным Mike King, который подтвердил, что вероятно это действительно документация от внутренней команды поиска Google.

Mike King сделал подробный разбор этих документов у себя на сайте, рекомендую ознакомиться:

https://ipullrank.com/google-algo-leak

Update:

Ссылка на документацию: https://hexdocs.pm/google_api_content_warehouse/api-reference.html

Выгрузка слива

Пока гипотеза такая, что предыдущая версия документации случайно утекла на Github со всеми "секретными" данными. Я выгрузил эту версию wget'ом, может кому-то понадобится.

PagernakNS

У Олеси увидел про PagerankNS. Это наиболее свежий вариант Pagerank, который используют в Google. Описание есть в этом патенте: https://patents.google.com/patent/US9953049B1/en

Если кратко, то замеряется расстояние до seed pages. Видимо, это какой-то избранный лист страниц, от которых и считают наиболее короткий путь.

Чувствительный тон кожи

Из слива документации я нашел следующий интересный параметр, о котором вряд ли напишут на западе:

imageQualitySensitiveFaceSkinToneSignals

У него нет описания, но в одном из документов, который так же имеет в своем названии Sensitive, есть упоминание Skin Tone Twiddler, который либо отвечает за разнообразие цветов кожи в image поиске, либо как-то связан с улучшением выдачи с разными тонами кожи https://blog.google/products/search/monk-skin-tone-scale/.

Тем не менее, я неоднократно замечал, что выбор картинки с темнокожими давал преимущество в ранжировании картинки, так что для себя я выделил это как еще одно подтверждение своих наблюдений.