Navboost

- логи запросов и кликов сводятся в таблицы, включая подсчеты из обучения. Затем судя по всему рейтинги IS поиска вносят изменения в конечные результаты данного компонента.

RankBrain

- обучается на основе пар предпочтений по кликам. Затем дорабатывается на основе рейтинга IS. Работает с униграммами и биграммами.

DeepRank

- предобучен на документе (URL, заголовок и salient terms) и запросах/локалях

, а затем на данных о точечных и парных кликах. Затем дорабатывается на основе IS. Работает с фрагментами слов.

Query based salient terms (QBST)

- обучается на документах и логах запросов/кликов. Интеграция в ранжирование обучена на рейтинге. Работает с униграммами и биграммами.

Term Weighting

- обучается на логах запросов/кликов. Интеграция в ранжирование обучена на рейтинге.

RankEmbed-BERT

- обучается на документах, запросах, логах кликов и рейтинге. Используются salient terms и данные Navboost.

Сравнение Bing и Google проводилось по 500 популярным в США запросам с использованием двух различных методов серп к серпу:

- Полный скрэйпинг страницы (в Bing не учитывалось местоположение пользователя)
- По линкам онлайн (когда участники исследования открывали динамическую ссылку на запрос в своем браузере и оценивали свои впечатления).

Обе методики показали, что Google сильнее в ранжировании (авторитетность, локальный контекст), а Bing - в разнообразии фич и интерактивности результатов.

У меня нет полной картины, поскольку я не создатель этих сеток, но основные моменты были протестированы мной еще несколько лет назад, поэтому ниже я скорее опишу основы своей схемы, чем той, которую используют в примерах.

🏘️

Ключевые запросы заточены под локальный поиск.

Не секрет, что Google использует отдельный алгоритм для локального поиска, я сам неоднократно пользовался его несовершенством, создавая programmatic сайты.

🐍

Ключевые запросы заточены под лонгтейл.

Здесь тоже ни для кого не секрет, что ориентировать на редкие запросы эффективно при создании больших сайтов или вебспаме.

🪟

Окно ранжирования для новых сайтов.

В этой части интернета не все знают, но Джон Мюллер сообщал, что для свежих сайтов есть некоторое послабление. Google не имеет достаточных данных о сайте, поэтому ему сложно понять, как его ранжировать, вследствие в самом начале пути сайт может ранжироваться лучше, чем по прошествии времени.

!pip install spacy_syllables
!python -m spacy download en_core_web_sm

import spacy
from spacy_syllables import SpacySyllables

# Load the spaCy model
nlp = spacy.load('en_core_web_sm')
nlp.add_pipe('syllables', after='tagger')

def calculate_fwr_ttr_fre(text):
    # Process the text with spaCy to tokenize and apply other NLP tasks
    doc = nlp(text.lower())

    # Count total words, sentences, syllables, and function words
    total_words = len(doc)
    total_sentences = len(list(doc.sents))
    total_syllables = sum(token._.syllables_count for token in doc if token._.syllables_count is not None)
    function_words_count = sum(token.is_stop for token in doc)

    # Calculate Function Words Ratio
    fwr = function_words_count / total_words if total_words > 0 else 0

    # Calculate Type-Token Ratio
    unique_words = set(token.text for token in doc)
    ttr = len(unique_words) / total_words if total_words > 0 else 0

    # Calculate Flesch Reading Ease
    fre = (206.835 - 1.015 * (total_words / total_sentences) - 84.6 * (total_syllables / total_words)) if total_words > 0 and total_sentences > 0 else 0

    return fwr, ttr, fre

# Change filename in code line below
with open('filename.txt', 'r') as file:
# Read the contents of the file
text = file.read()
fwr, ttr, fre = calculate_fwr_ttr_fre(text)
print("Function Words Ratio:", fwr)
print("Type-Token Ratio:", ttr)
print("Flesch Reading Ease:", fre)