Google’s Reasonable Surfer Model

💡 Идея модели отражает тот факт, что не все ссылки, связанные со страницами, могут быть пройдены с одинаковой вероятностью. Примеры ссылок, по которым маловероятен переход, могут включать ссылки «Terms of service», рекламные баннеры, не связанные со страницей ссылки.

Методология:

⚙️ Генерируется модель. Модель основана на поведении пользователей и факторах. Эта модель помогает понять по каким ссылкам кликают пользователи. Модель может постоянно меняться в процессе получения новых данных.

⚖️ Ссылкам присваиваются веса. На основе модели каждой ссылке со страницы на страницу присваивается вес.

🥇 Страницам присваиваются ранги. Страницы ранжируются на основе весов присвоенных ссылкам, а также на основе рангов ссылающихся страниц.

Факторы для ссылок

🔸 Размер шрифта анкора
🔸 Расположение ссылки (например, в списковом теге HTML, в бегущей строке, над или под первым экраном, просматриваемым на дисплее браузера 800×600, сторона (сверху, снизу, слева, справа) документа, в футере, сайдбаре и т.д.)
🔸 Если ссылка в списковом теге, то позиция ссылки в нём
🔸 Цвет шрифта и/или атрибуты ссылки (курсив, серый, цвет такой же как у фона и т.д.)
🔸 Число слов в анкоре
🔸 Тип ссылки (например, ссылка картинка)
🔸 Если ссылка связана с изображением, то соотношение сторон
🔸 Контекст нескольких слов до и/или после ссылки
🔸 Тематический кластер с которым связан анкор ссылки
🔸 Ведет ли ссылка на тот же хост или домен
🔸 Если ссылка ведет на страницу на том же домене, является ли URL ссылки более коротким, чем у ссылающейся страницы и/или содержит ли URL адрес другого сайта (например, для редиректа)

Факторы для исходной страницы

🔸 URL адрес или часть URL адреса
🔸 Веб-сайт связанный со страницей
🔸 Число ссылок на странице
🔸 Наличие других слов в заголовке страницы
🔸 Тематический кластер документа и/или степень связанности тематического кластера исходной страницы и тематического кластера анкора ссылки

Факторы для целевой страницы

🔸 URL адрес или часть URL адреса
🔸 Веб-сайт связанный со страницей
🔸 Находится ли URL-адрес страницы на том же хосте, что и URL-адрес ссылающейся страницы
🔸 Находится ли URL-адрес страницы на том же домене, что и URL-адрес ссылающейся страницы
🔸 Слова в URL страницы и/или длина URL

🏄 Система сохраняет поведение пользователей, включающее навигацию по сайту. Эти данные собираются через браузеры, которые записывают такие данные как посещенные страницы, ссылки выбранные пользователям (выбор - положительный случай, невыбор - отрицательный случай), введенные адреса, заполненные формы, их язык, интересы, введенные ключевые запросы.

🖼️ На изображении представлена примерная диаграмма, которая включает три страницы: A, B и C. Как показано, A включает одну прямую ссылку на C и две обратные ссылки из B и C. B включает одну прямую ссылку на A. C включает одну прямую ссылку на A и одну обратную ссылку из A. Конечные ранги страниц на основе весов ссылок, после рассчета формулы ранжирования: r(A)≈0.237, r(B)≈0.202, and r(C)≈0.281. Наибольший ранг у страницы C.

ℹ️ В патенте используют термин документы, поскольку имеются в виду не только страницы сайтов, но и, например, ссылки на файлы, но для простоты восприятия я использовал термин страницы, как страницы веб-сайта.

ℹ️ Все факторы упомянуты в патенте и в реальности их число может различаться

ℹ️ Ссылки включают любую ссылку со страницы на страницу или на часть той же страницы.

ℹ️ Прямая ссылка - это ссылка с исходной страницы на целевую с точки зрения исходной страницы.

ℹ️ Обратная ссылка - это ссылка с целевой страницы на исходную с точки зрения целевой страницы.

ℹ️ Example.com - это домен, server1.example.com - это хост.

Источник: Ranking documents based on user behavior and/or feature data https://patents.google.com/patent/US8117209B1/en

Google’s Reasonable Surfer Model (дополнение)

📝 Описанные в патенте примеры правил, которые может генерировать модель из предыдущего поста:

📎 Ссылки, у которых размер шрифта анкора превышает определенный размер, имеют большую вероятность быть выбранными, чем ссылки со шрифтом меньше определенного размера.

📎 Ссылки, расположенные ближе к верху страницы, имеют более высокую вероятность быть выбранными, чем ссылки, расположенные ближе к низу страницы.

📎 Когда тематический кластер, связанный с исходной страницей, связан с тематическим кластером, связанным с целевой страницей, ссылка имеет более высокую вероятность выбора, чем когда тематический кластер не связан.

📎 Ссылка, размещенная под заголовком «More Top Stories» на веб-сайте cnn.com, имеет высокую вероятность выбора.

📎 Ссылка, связанная с целевым URL-адресом, который содержит слово «domainpark», имеет низкую вероятность быть выбранной.

📎 Ссылка, связанная с исходной страницей, которая содержит всплывающее окно, имеет низкую вероятность быть выбранной.

📎 Ссылка, связанная с целевым доменом, который заканчивается на «.tv», имеет низкую вероятность быть выбранной.

📎 Ссылка, связанная с целевым URL-адресом, который включает в себя множественные дефисы, имеет низкую вероятность быть выбранной.

Источник: Ranking documents based on user behavior and/or feature data https://patents.google.com/patent/US8117209B1/en

Большие изменения на канале

Sәıam! Хочу сообщить об изменениях, которые давно назревали. Теперь этот канал будет не только про черные методики продвижения. Из того, что я планирую здесь постить:

🔸 Разбор патентов
🔸 Бесплатные no code решения для проведения анализа и обработки
🔸 Бесплатные скрипты
🔸 Разбор методик генерации сайтов
🔸 Разбор манипуляций поиском, как было и раньше
🔸 Любые другие посты по теме SEO

Также название канала меняется на Advanced SEO, поскольку сфера моих интересов более широкая, нежели Black Hat SEO.
Рекламы всё так же не будет, но возможно я буду рекомендовать сервисы и продукты моих друзей, если это действительно что-то стоящее.

Лимиты Google Indexing API

⚠️ Из-за бестолковых или намеренно вводящих в заблуждение статей, многие считают, что пресловутый лимит в 200 URL в день – это лимит на один аккаунт Google.

Действительные лимиты:

🔸 Лимит 200 URL в день по умолчанию дается на один проект в аккаунте Google Cloud с возможностью запроса на расширение

🔸 Лимит проектов на аккаунт варьируется от 10 на свежие аккаунты, от 20 на старые аккаунты с возможностью запроса на расширение

Таким образом, на одном новом аккаунте Google с 10-ю проектами по 200 URL в день можно отправлять на индексацию или удалять из индекса до 2000 URL в сутки, главное добавить каждый из проектов для сайта в консоли Google.

ℹ️ Однажды я видел аккаунт с безлимитом на создание проектов.

Накрутка поведенческих факторов в Яндекс

🔬Из научного интереса погрузился в изучение поведенческих факторов различных поисковых систем, поэтому недавно пообщался с давним знакомым @Vadik_Root. Я работал с ним в проектах по играм, которые популярны в Восточной Европе и ЛАТАМе. Помимо зарубежа, у него есть проекты рассчитанные на СНГ, в которых понадобилось разобраться с ПФ в Яндексе. Исходя из нашей беседы был написан обзорный материал ниже. В конце патенты Яндекса, которые заинтересуют специалистов.

На какие факторы воздействуют через накрутку:

🔸 Посещаемость сайта
🔸 Показатель кликабельности в выдаче (CTR)
🔸 Глубина посещения на сайте
🔸 Время пользователя на сайте
🔸 Повторные возвраты пользователей
🔸 Показатель отказов (является предметом дискуссии среди накрутчиков)

Посредством реверс-инжиниринга, специалисты по накрутке установили, что большую часть информации по поведенческим факторам Яндекс черпает из данных Яндекс.Метрики:

🔸 Учитывает профиль интересов пользователей
🔸 Опыт посещения, а также взаимодействия с элементами (особенно которые размечены как цели в Яндекс.Метрике) на предыдущих сайтах
🔸 Время жизни пользователя
🔸 Уникальные характеристики пользователя (ip, fingerprints)

Что делают специалисты по накрутке:

🧑 Создают уникальные характеристики и поведение пользователей посредством программного обеспечения и инфраструктуры в виде серверов и мобильных прокси, которые либо арендуют у третьих лиц, либо создают сами.
🏄 Посещают определенные сайты, на которых установлена Яндекс.Метрика, остуствует защита от ботов.
🎭 Выбор сайтов, в основном, опирается на такой показатель, как Долгосрочные Интересы (ДИ), однако при должной сноровке можно им пренебречь.
🚀 Осуществляют правильные переходы на целевой сайт.

Формирование “живых” новых пользователей для Яндекса занимает определенное время, обычно это около 10-ти дней, перед тем как запустить на ваш сайт.

В дальнейшем, “прокачка” пользователей и переходы выполняются параллельно, как правило 90% всего времени работы занимает фоновая работа системы, и всего 10% - целевые переходы.

Вся схема - не секрет, поскольку самое сложное это подбор количественных характеристик для каждого параметра, подбор сайтов, а также тонкая настройка, которая требуется после больших апдейтов.

Очень большое значение имеет техническая подготовка и настройка оборудования накрутчиком, поэтому лучше отдавать предпочтение специалистам/командам, которые самостоятельно организуют всю инфраструктуру, не обращаясь к помощи подрядчиков, поскольку они в первую очередь заинтересованы в оптимизации ресурсов, а также могут быстро подстроиться под новые изменения. Именно таким техническим специалистом является @Vadik_Root. Так как есть свободные ресурсы, он может взять несколько сторонних проектов в работу по цене от 1000 USDT в месяц.

ℹ️ Базовый патент связанный с ПФ:

СПОСОБ ФОРМИРОВАНИЯ ПЕРСОНАЛИЗИРОВАННОЙ МОДЕЛИ РАНЖИРОВАНИЯ, СПОСОБ ФОРМИРОВАНИЯ МОДЕЛИ РАНЖИРОВАНИЯ, ЭЛЕКТРОННОЕ УСТРОЙСТВО И СЕРВЕР
https://yandex.ru/patents/doc/RU2580516C2_20160410

ℹ️ Патенты яндекса для борьбы с накруткой ПФ:

СПОСОБ И СИСТЕМА ДЛЯ ВЫЯВЛЕНИЯ АНОМАЛЬНОГО РЕЙТИНГОВАНИЯ
https://yandex.ru/patents/doc/RU2776034C2_20220712

СПОСОБ И СИСТЕМА ДЛЯ ОПРЕДЕЛЕНИЯ АНОМАЛЬНЫХ ПОСЕЩЕНИЙ ВЕБ-САЙТОВ
https://yandex.ru/patents/doc/RU2775824C2_20220711

Вам не нужен Python!🚫🐍

Orange может решить множество сеошных задач, включая подсчет слов в датасете ключевых фраз, семантическое SEO и кластеризацию.

Что такое Orange?

🍊Orange — это бесплатный пакет программного обеспечения для визуального программирования на основе компонентов, предназначенных для визуализации данных, машинного обучения, интеллектуального анализа и анализа данных. Работает на различных платформах, таких как Windows, Mac и Linux.

Компоненты Orange называются виджетами. Они варьируются от простой визуализации данных, выбора подмножества и предварительной обработки до машинного обучения и прогнозного моделирования.
Визуальное программирование реализуется через интерфейс, в котором рабочие процессы создаются путем связывания виджетов.

Как начать пользоваться Orange?

🔸 Установить: https://orangedatamining.com/download/
🔸 Плейлист «Getting Started»: https://www.youtube.com/watch?v=HXjnDIgGDuI&list=PLmNPvQr9Tf-ZSDLwOzxpvY-HrE0yv-8Fy.

Какой add-on самый SEOшный?

Это Orange3 Text. Вот документация ко всем его виджетам: https://orange3-text.readthedocs.io/en/latest/

Пример решенной задачи

Одной из частей семантического SEO является связывание между собой семантически близких статей посредством ссылок. Для определения страниц-кандидатов для контекстных ссылок внутри статьи, в данном примере я использовал поиск ближайших соседей.

Для этого:

1️⃣ Просканировал сайт с помощью ScreamingFrog 🕷️
2️⃣ Выбрал столбцы URL и meta-title 📊
3️⃣ Предварительно обработал meta-title ✨
4️⃣ Перевел meta-title в векторное пространство embedding’ов с помощью SBERT 🔍
5️⃣ Нашёл 5 ближайших соседей выбранной мной страницы 🌐

Результат на скрине.

Похожий пример на Python был представлен недавно на SERP Conf.

P.S.
Если вас заинтересовала возможность использования данного программного обеспечения, рекомендую подписаться на мой канал, в дальнейшем планирую выкладывать .ows файлы с готовыми пайплайнами, чтобы вы могли сразу использовать их в Orange.

🏄Google учитывает поведенческие факторы!

На justice.gov продолжают выкладывать вещественные доказательства суда U.S. and Plaintiff States v. Google LLC, хоть и в урезанном виде.

Совсем недавно из этих же документов мы узнали, что Google еще много лет назад категорически запретил своим сотрудникам обсуждать поведенческие факторы в каком-либо виде. Я уверен, что это не из-за того, чтобы не дай бог сеошники не узнали как работает Google, а все дело в юридических аспектах, так как пользовательские данные это самый чувствительный тип данных. Например, в GDPR входит даже сбор IP в логах вашего сервера :)

В последние пару дней мы получили вещественные доказательства того, что Google использует пользовательские данные для ранжирования результатов поиска и более того, использует данные, чтобы оценивать качество документа, поскольку статистическими методами он оценивает их минимально.

Тезисно выводы можно прочитать здесь и здесь.

Я бы хотел добавить, что не использовать пользовательские данные было бы глупо. Имея опыт работы с большими объемами трафика на своих и клиентских проектах, могу сказать, что во многих случаях методы основанные на пользовательском поведении превышают статистические методы по качеству и требуют меньше задействованных мощностей.

Также всем, кто собрался прямо сейчас заняться накрутками ПФ хочу сказать, что Google не просто так агрессивно продвигал Chrome, поскольку, например для Reasonable Surfer, который я считаю главной моделью для оценки ссылок, он вероятно собирает данные из своего браузера. Например, в дорвеестроительстве отключение некоторых видов рекламы только для Google Chrome позволяет проходить проверки на агрессивную рекламу. Поэтому скорее всего Google доверяет только данным официальных сборок Chrome.

В 2023-м я провел много собеседований под “бурж” SEO

Я участвовал в собеседованиях на своей текущей работе, а также помогал выбирать сеошников своим хорошим знакомым в предыдущие годы, поэтому могу сделать некоторые выводы по сеошникам из разных ниш.

Сразу хочу сказать, что это не про всех, а про усредненного соискателя, который приходит собеседоваться. В каждой из ниш есть хорошие “шарящие” ребята и я даже знаю их лично.

🚫Gambling, Essay, Фарма

К сожалению, на собеседования приходят очень слабые ребята, причем вне зависимости от грейда! Сениоры и даже тимлиды не знают элементарной базы. Знания часто ограничиваются ссылками и PBN. В целом получается, что кандидаты занимались тем, что делали “дорвеи вручную”, то есть сотни низкокачественных контентных сайтов, обзорников или магазинов в фарме, которые в сумме и приносили, как несколько нормальных. В их нишах это оправдано, но успешность таких схем начинает падать.

Освежить свои знания можно прочитав всю справку Google, я сам делаю это раз в полгода, в этом нет ничего стыдного.

Также есть бесплатный roadmap по современному SEO от Алейды Солис: https://learningseo.io/

Из платных курсов я бы порекомендовал подписку на https://img.courses/. Для себя часто черпаю интересные инсайты из их SEO-тестов.

Хорошие специалисты из этих ниш работают непосредственно в продуктах, знания и опыт на порядок выше, чем у аффилиатчиков, но такие ребята редко приходят на собеседования.

✅Агентства под “бурж”, товарка (Amazon и др.), продуктовое SEO

Ребята из агентств имеют неплохие знания и понимание современного SEO, не хватает углубленного погружения в отдельные ниши, но меньше искажений в знаниях. Неплохие кандидаты на junior plus, middle.

Товарка тоже аффилиатка, но в среднем сильные кандидаты, которые разбираются в SEO и следят за всеми изменениями в поиске. Неплохие кандидаты на middle, senior грейды.

Самые толковые ребята приходят из продуктовых инхаус команд, встретить такого кандидата сложно, но можно. Хорошие кандидаты на middle, senior грейды.

Почему все считают, что на этом слайде про "анкоры"?

HTML тег <a> - это anchor element. На слайде вероятнее имеются в виду именно гиперссылки. А анкоры из лексикона сеошника - это anchor text в справке Google или link text в других источниках.

Новый/старый тест Кайла Руфа

Подтверждаю! Всё еще работает, но есть нюанс, что сделать нужно всё правильно, дорвейщикам рекомендую тщательно проаналазировать :)
Примерно так же я создавал дорвеи под Google🤓

Чуть больше у Майка:
https://t.me/MikeBlazerX/2560