Dart: Product SEO Engineer
4.76K subscribers
113 photos
5 files
118 links
Я Product SEO Engineer с опытом работы более 13-ти лет. Cпециализируюсь на highload проектах с DAU 100M+. Делаю: Adult, Dating, EdTech, E-commerce, Programmatic SEO, Bypass Resctrictions, Multi-lingual/regional.

Рекламы нет!

Связь - @dart_kage
Download Telegram
Накрутка поведенческих факторов в Яндекс

🔬Из научного интереса погрузился в изучение поведенческих факторов различных поисковых систем, поэтому недавно пообщался с давним знакомым @Vadik_Root. Я работал с ним в проектах по играм, которые популярны в Восточной Европе и ЛАТАМе. Помимо зарубежа, у него есть проекты рассчитанные на СНГ, в которых понадобилось разобраться с ПФ в Яндексе. Исходя из нашей беседы был написан обзорный материал ниже. В конце патенты Яндекса, которые заинтересуют специалистов.

На какие факторы воздействуют через накрутку:

🔸 Посещаемость сайта
🔸 Показатель кликабельности в выдаче (CTR)
🔸 Глубина посещения на сайте
🔸 Время пользователя на сайте
🔸 Повторные возвраты пользователей
🔸 Показатель отказов (является предметом дискуссии среди накрутчиков)

Посредством реверс-инжиниринга, специалисты по накрутке установили, что большую часть информации по поведенческим факторам Яндекс черпает из данных Яндекс.Метрики:

🔸 Учитывает профиль интересов пользователей
🔸 Опыт посещения, а также взаимодействия с элементами (особенно которые размечены как цели в Яндекс.Метрике) на предыдущих сайтах
🔸 Время жизни пользователя
🔸 Уникальные характеристики пользователя (ip, fingerprints)

Что делают специалисты по накрутке:

🧑 Создают уникальные характеристики и поведение пользователей посредством программного обеспечения и инфраструктуры в виде серверов и мобильных прокси, которые либо арендуют у третьих лиц, либо создают сами.
🏄 Посещают определенные сайты, на которых установлена Яндекс.Метрика, остуствует защита от ботов.
🎭 Выбор сайтов, в основном, опирается на такой показатель, как Долгосрочные Интересы (ДИ), однако при должной сноровке можно им пренебречь.
🚀 Осуществляют правильные переходы на целевой сайт.

Формирование “живых” новых пользователей для Яндекса занимает определенное время, обычно это около 10-ти дней, перед тем как запустить на ваш сайт.

В дальнейшем, “прокачка” пользователей и переходы выполняются параллельно, как правило 90% всего времени работы занимает фоновая работа системы, и всего 10% - целевые переходы.

Вся схема - не секрет, поскольку самое сложное это подбор количественных характеристик для каждого параметра, подбор сайтов, а также тонкая настройка, которая требуется после больших апдейтов.

Очень большое значение имеет техническая подготовка и настройка оборудования накрутчиком, поэтому лучше отдавать предпочтение специалистам/командам, которые самостоятельно организуют всю инфраструктуру, не обращаясь к помощи подрядчиков, поскольку они в первую очередь заинтересованы в оптимизации ресурсов, а также могут быстро подстроиться под новые изменения. Именно таким техническим специалистом является @Vadik_Root. Так как есть свободные ресурсы, он может взять несколько сторонних проектов в работу по цене от 1000 USDT в месяц.

ℹ️ Базовый патент связанный с ПФ:

СПОСОБ ФОРМИРОВАНИЯ ПЕРСОНАЛИЗИРОВАННОЙ МОДЕЛИ РАНЖИРОВАНИЯ, СПОСОБ ФОРМИРОВАНИЯ МОДЕЛИ РАНЖИРОВАНИЯ, ЭЛЕКТРОННОЕ УСТРОЙСТВО И СЕРВЕР
https://yandex.ru/patents/doc/RU2580516C2_20160410

ℹ️ Патенты яндекса для борьбы с накруткой ПФ:

СПОСОБ И СИСТЕМА ДЛЯ ВЫЯВЛЕНИЯ АНОМАЛЬНОГО РЕЙТИНГОВАНИЯ
https://yandex.ru/patents/doc/RU2776034C2_20220712

СПОСОБ И СИСТЕМА ДЛЯ ОПРЕДЕЛЕНИЯ АНОМАЛЬНЫХ ПОСЕЩЕНИЙ ВЕБ-САЙТОВ
https://yandex.ru/patents/doc/RU2775824C2_20220711
Вам не нужен Python!🚫🐍

Orange может решить множество сеошных задач, включая подсчет слов в датасете ключевых фраз, семантическое SEO и кластеризацию.

Что такое Orange?

🍊Orange — это бесплатный пакет программного обеспечения для визуального программирования на основе компонентов, предназначенных для визуализации данных, машинного обучения, интеллектуального анализа и анализа данных. Работает на различных платформах, таких как Windows, Mac и Linux.

Компоненты Orange называются виджетами. Они варьируются от простой визуализации данных, выбора подмножества и предварительной обработки до машинного обучения и прогнозного моделирования.
Визуальное программирование реализуется через интерфейс, в котором рабочие процессы создаются путем связывания виджетов.

Как начать пользоваться Orange?

🔸 Установить: https://orangedatamining.com/download/
🔸 Плейлист «Getting Started»: https://www.youtube.com/watch?v=HXjnDIgGDuI&list=PLmNPvQr9Tf-ZSDLwOzxpvY-HrE0yv-8Fy.

Какой add-on самый SEOшный?

Это Orange3 Text. Вот документация ко всем его виджетам: https://orange3-text.readthedocs.io/en/latest/

Пример решенной задачи

Одной из частей семантического SEO является связывание между собой семантически близких статей посредством ссылок. Для определения страниц-кандидатов для контекстных ссылок внутри статьи, в данном примере я использовал поиск ближайших соседей.

Для этого:

1️⃣ Просканировал сайт с помощью ScreamingFrog 🕷️
2️⃣ Выбрал столбцы URL и meta-title 📊
3️⃣ Предварительно обработал meta-title ✨
4️⃣ Перевел meta-title в векторное пространство embedding’ов с помощью SBERT 🔍
5️⃣ Нашёл 5 ближайших соседей выбранной мной страницы 🌐

Результат на скрине.

Похожий пример на Python был представлен недавно на SERP Conf.

P.S.
Если вас заинтересовала возможность использования данного программного обеспечения, рекомендую подписаться на мой канал, в дальнейшем планирую выкладывать .ows файлы с готовыми пайплайнами, чтобы вы могли сразу использовать их в Orange.
Тонны трафика в Essay или анализ поисковых фраз

🤔 В 2017-м году все говорили, что невозможно делать дорвеи под Google в essay-ке на своих доменах и без проставления ссылок. Это звучало как вызов.
Первая схема: expired-домены, контент из сниппетов Bing, на морде домена список ссылок на поддомены, поддомены с вхождением essay, перелинковка в меню.
Трафик был, но мне было мало.

Анализ поисковых фраз

🔍 Разбил ключевики на n-граммы, стал искать паттерны.
📘 Увидел, что часто встречаются слова introduction, topics и т.д. Подобные приставки обычно идут к темам эссе.
🌐 Проверил конкретные темы в Google, увидел что в PAA блоке тоже часто встречаются вопросы с подобными приставками.
📝 Оказалось, выпадающие подсказки в Bing к темам эссе очень похожи на паттерны. Они стали источником подзаголовков.
🖼️ В Web выдаче Google встречаются блоки Images. Картинки оптимизировал примерно как тут.
📚 Выделил темы эссе из ключевиков, а также спарсил сайты вроде 123helpme, Bartleby и др.


Структура on-page

<h1> тема эссе
<img> оптимизированная картинка
<p> полный сниппет по запросу темы с 1-2 страницы
…параграфы и списки из предложений из сниппетов…
<h2> тема эссе + приставка или паттерн
<img> оптимизированная картинка
<p> полный сниппет по запросу из <h2> c 1-2 страницы
…параграфы и списки из предложений из сниппетов…
И т.д.

Результаты

🔝 Мои странички попадали в блоки PAA, Featured Snippet и Image в выдаче, что приносило мне до 45к уников в сутки.
💸 Партнерки вроде EduProfit, Educashion и др. приносили мало дохода с такого трафика, подошла партнерка Studybay.
📉 В 2023-м топ по картинкам и места в блоках без авторитета сложно, прилетают баны, но трафик по такому on-page все еще можно получить.

P.S. в следующем посте разберем как разбивать ключевые слова на n-граммы в Orange!
Подписывайтесь, чтобы не пропустить.
📊 Делаем n-граммы в Orange и анализируем

Сегодня я покажу как делать прием из предыдущего поста на примере датасета из поисковых фраз, которые дают партнерки в Dating.

Про Orange в этом посте.

⬆️ CSV File Import (1)
Я импортирую все файлы через этот виджет, поскольку он поддерживает нужные форматы файлов.
Из настроек в нем стоит выбрать кодировку вашего файла и Cell Delimiter – это разделитель, которым отделены колонки в вашем файле.

🔍 Corpus (2)
В этом виджете вы можете выбрать какие колонки игнорировать в правой части, а какие использовать в левой части.

📝 Preprocess Text (3)
В этом виджете происходит вся работа. Многие препроцессоры уже представлены по умолчанию, но некоторые нужно перетащить из списка Preprocessors в правую часть виджета. Последовательность препроцессоров нужно задать именно такую:

🔽 Transformation - нижний регистр, удаление url, html, акцентов.
🧩 Tokenization - разбиваем ключевые фразы на токены, в данном случае слова.
🚫 Filtering - отмечаем галку на Stopwords и Regexp, чтобы удалить ненужные символы и слова без смысла.
📊 N-grams Range - ставим от 1 до 2-х, чтобы в дальнейшем посчитать кол-во слов и словосочетаний.

☁️ Word Cloud (4)
Этот виджет считает количество вхождений n-грамм из предыдущего шага, делает облако слов. Анализ вполне можно провести и здесь.
Например, проводя анализ в 2020-м я заметил часто встречающиеся dating, dating online, matchmaking, hook up, speed dating, blind dating, а также singles, white, christian, black и другие. Также заметил, что многие запросы имели гео-привязку.
Я сделал странички со многими словосочетаниями вроде speed dating with black singles in jacksonville fl, и так в разных вариациях по всему миру. Как делал on-page для посадочных расскажу в другом посте.

⬇️ Save Data (5)
Нужно настроить соединение, поскольку выгрузить хотим подсчет слов, настройка открывается так же как у виджетов двойным нажатием. Соединяем Word counts слева и Data справа.
В виджете Save Data ставим галку, чтобы добавить заголовки к файлу и сохраняем в нужном формате.
🏄Google учитывает поведенческие факторы!

На justice.gov продолжают выкладывать вещественные доказательства суда U.S. and Plaintiff States v. Google LLC, хоть и в урезанном виде.

Совсем недавно из этих же документов мы узнали, что Google еще много лет назад категорически запретил своим сотрудникам обсуждать поведенческие факторы в каком-либо виде. Я уверен, что это не из-за того, чтобы не дай бог сеошники не узнали как работает Google, а все дело в юридических аспектах, так как пользовательские данные это самый чувствительный тип данных. Например, в GDPR входит даже сбор IP в логах вашего сервера :)

В последние пару дней мы получили вещественные доказательства того, что Google использует пользовательские данные для ранжирования результатов поиска и более того, использует данные, чтобы оценивать качество документа, поскольку статистическими методами он оценивает их минимально.

Тезисно выводы можно прочитать здесь и здесь.

Я бы хотел добавить, что не использовать пользовательские данные было бы глупо. Имея опыт работы с большими объемами трафика на своих и клиентских проектах, могу сказать, что во многих случаях методы основанные на пользовательском поведении превышают статистические методы по качеству и требуют меньше задействованных мощностей.

Также всем, кто собрался прямо сейчас заняться накрутками ПФ хочу сказать, что Google не просто так агрессивно продвигал Chrome, поскольку, например для Reasonable Surfer, который я считаю главной моделью для оценки ссылок, он вероятно собирает данные из своего браузера. Например, в дорвеестроительстве отключение некоторых видов рекламы только для Google Chrome позволяет проходить проверки на агрессивную рекламу. Поэтому скорее всего Google доверяет только данным официальных сборок Chrome.
В 2023-м я провел много собеседований под “бурж” SEO

Я участвовал в собеседованиях на своей текущей работе, а также помогал выбирать сеошников своим хорошим знакомым в предыдущие годы, поэтому могу сделать некоторые выводы по сеошникам из разных ниш.

Сразу хочу сказать, что это не про всех, а про усредненного соискателя, который приходит собеседоваться. В каждой из ниш есть хорошие “шарящие” ребята и я даже знаю их лично.

🚫Gambling, Essay, Фарма

К сожалению, на собеседования приходят очень слабые ребята, причем вне зависимости от грейда! Сениоры и даже тимлиды не знают элементарной базы. Знания часто ограничиваются ссылками и PBN. В целом получается, что кандидаты занимались тем, что делали “дорвеи вручную”, то есть сотни низкокачественных контентных сайтов, обзорников или магазинов в фарме, которые в сумме и приносили, как несколько нормальных. В их нишах это оправдано, но успешность таких схем начинает падать.

Освежить свои знания можно прочитав всю справку Google, я сам делаю это раз в полгода, в этом нет ничего стыдного.

Также есть бесплатный roadmap по современному SEO от Алейды Солис: https://learningseo.io/

Из платных курсов я бы порекомендовал подписку на https://img.courses/. Для себя часто черпаю интересные инсайты из их SEO-тестов.

Хорошие специалисты из этих ниш работают непосредственно в продуктах, знания и опыт на порядок выше, чем у аффилиатчиков, но такие ребята редко приходят на собеседования.

✅Агентства под “бурж”, товарка (Amazon и др.), продуктовое SEO

Ребята из агентств имеют неплохие знания и понимание современного SEO, не хватает углубленного погружения в отдельные ниши, но меньше искажений в знаниях. Неплохие кандидаты на junior plus, middle.

Товарка тоже аффилиатка, но в среднем сильные кандидаты, которые разбираются в SEO и следят за всеми изменениями в поиске. Неплохие кандидаты на middle, senior грейды.

Самые толковые ребята приходят из продуктовых инхаус команд, встретить такого кандидата сложно, но можно. Хорошие кандидаты на middle, senior грейды.
Почему все считают, что на этом слайде про "анкоры"?

HTML тег <a> - это anchor element. На слайде вероятнее имеются в виду именно гиперссылки. А анкоры из лексикона сеошника - это anchor text в справке Google или link text в других источниках.
Новый/старый тест Кайла Руфа

Подтверждаю! Всё еще работает, но есть нюанс, что сделать нужно всё правильно, дорвейщикам рекомендую тщательно проаналазировать :)
Примерно так же я создавал дорвеи под Google🤓

Чуть больше у Майка:
https://t.me/MikeBlazerX/2560
💎Потенциал Reddit и Quora

Поскольку Google дал большой буст для UGC контента, только по Ahrefs в 2,5+ раза выросла органика у Reddit и Quora. Я нахожу их в результатах поиска во многих белых, серых нишах и даже в адалте.

Почему Google мог дать буст именно этим платформам?

Если вы собираете большие объемы семантики, то могли заметить, что очень часто встречаются запросы вроде cbd oil for pets reddit. Я предполагаю, что Google’ры естественно тоже замечали подобное поведение, поэтому вполне логично дать этим сайтам более высокий ранк.

Какие возможности для SEO?

Очевидно, что можно делать темы, которые будут пролезать в топы. Барри Шварц пытался уточнить как Google будет определять, что пост от реального человека:

Я спросил, как Google знает, действительно ли лицо, размещающее пост, является подлинным. Люди выдумывают персонажей, придумывают имена в сети, в социальных сетях, на форумах и публикуют что угодно. Google не хотел раскрывать свои секреты, но намекнул, что речь идет скорее не о личности публикующего, а о том, какой контент этот человек публикует.
Похоже, что если контент активирует некоторые сигналы подлинности, не то чтобы у Google был сигнал ранжирования подлинности, но если сигналы, которые Google использует для этой системы ранжирования, показывают, что контент полезен, содержателен и основан на личном опыте, то возможно Google будет выделять этот контент более заметно в поиске.


Однако, в одном из предыдущих постов я разбирал продленный патент на ранжирование UGC контента. Возможно, все-таки стоит создавать сетки юзеров обсуждающих конкретные темы, но не могу утверждать.

Какие еще есть возможности для получения трафика?

Бизнес может привлекать качественный трафик через рекламу на данных платформах!

Естественно, у них есть рекламные кабинеты:

https://www.redditforbusiness.com/advertise

https://business.quora.com/solution/for-advertisers/
Please open Telegram to view this post
VIEW IN TELEGRAM
⚙️ 6 переобученных компонентов Google

Новые вещественные доказательства уже много где подробно описаны, в том числе компоненты, у меня столько времени свободного, к сожалению, нет. Работать надо 🙂

Я же хочу немного добавить от себя по данному вещественному доказательству, которое взбудоражило всё западное сообщество SEO.

Презентация от 15.11.23 - свежая! Douglas W. Oard - приглашенный эксперт в области информационного поиска, который опровергает показания эксперта Google Edward A. Fox про слабое влияние юзерских данных от 19.08.22. Причем судя по презентации здесь имеют в виду в первую очередь именно выставление рейтинга оценщиками качества (Quality Raters). На основе выставленных оценок получают метрику Information Satisfaction Score (IS), которая на 2021-й год имеет 4-ю версию (IS4).

По показаниям Fox’а данные оценщиков для переобучения используются только в 6 компонентах ранжирования, но Oard правильно отмечает, что компонент Glue среди них не представлен, хотя судя по всему именно он используется сейчас, как более прогрессивная модель, учитывающая особенности мобильной выдачи и блоков Google, а не Navboost.

Navboost
- логи запросов и кликов сводятся в таблицы, включая подсчеты из обучения. Затем судя по всему рейтинги IS поиска вносят изменения в конечные результаты данного компонента.

RankBrain
- обучается на основе пар предпочтений по кликам. Затем дорабатывается на основе рейтинга IS. Работает с униграммами и биграммами.

DeepRank
- предобучен на документе (URL, заголовок и salient terms) и запросах/локалях
, а затем на данных о точечных и парных кликах. Затем дорабатывается на основе IS. Работает с фрагментами слов.

Query based salient terms (QBST)
- обучается на документах и логах запросов/кликов. Интеграция в ранжирование обучена на рейтинге. Работает с униграммами и биграммами.

Term Weighting
- обучается на логах запросов/кликов. Интеграция в ранжирование обучена на рейтинге.

RankEmbed-BERT
- обучается на документах, запросах, логах кликов и рейтинге. Используются salient terms и данные Navboost.


Для себя я подметил в очередной раз, что Google токенизирует 1-2 словники, поэтому триграммы получать из текста смысла нет и не было!

Часто используется термин salient terms. Этот термин я встречал в патенте гугл на извлечение интересных фактов. Также из интересного в новой версии API для NLP от Google они больше не дают параметр salience. В старой этот параметр есть. Но думаю вполне можно будет заменить векторным подходом, считая семантические близости.

И забудьте уже про LSI-слова! Это показывает, что вы не разбираетесь в западном SEO. 😐

Из интересного: судя по слайдам оценщики поиска проводят оценку только для топ-5 позиций, включая блоки выдаваемые Google.
Bing превосходит Google по фичам

Из вещественных доказательств по делу U.S. and Plaintiff States v. Google LLC меня заинтересовала презентация Google от 2020-го года, в которой они сравнивали Desktop выдачу Bing и Google.

Кратко:
Сравнение Bing и Google проводилось по 500 популярным в США запросам с использованием двух различных методов серп к серпу:

- Полный скрэйпинг страницы (в Bing не учитывалось местоположение пользователя)
- По линкам онлайн (когда участники исследования открывали динамическую ссылку на запрос в своем браузере и оценивали свои впечатления).

Обе методики показали, что Google сильнее в ранжировании (авторитетность, локальный контекст), а Bing - в разнообразии фич и интерактивности результатов.


Для меня это еще одно подтверждение, что фичи Bing'а - это отличный источник контента для дорвеев. На 2023 их становится только больше и их качество стало лучше, а Google все еще по моим ощущениям проигрывает.

И да, если ваш контент из блоков Bing'а не живет и месяца, то проблема скорее всего в другом ;)
Все материалы дела U.S. and Plaintiff States v. Google LLC

На сайте justice.gov материалы дела не отсортированы по датам и выкладываются в разнобой, поэтому я написал простенькую программу, которая парсит данные со страницы и сортирует по датам от новых к старым. Актуальный результат складывается в эту таблицу для удобства:

https://docs.google.com/spreadsheets/d/1TU6UxMNdWFiKjCgM0tp94je1niWFL7Scpg-T2ZkGwxo/edit?usp=sharing
Дорвеи засрали интернет

Многие уже заметили, как интернет засрали дорвеи .de, .pl и прочие, даже в западных интернетах уже бьют тревогу.

А схема очень простая и старая: индекс и ссылки. Причем использовать можно собственные неудачные или отработавшие expired-домены.

Контент на использованных доменах и субдоменах:

⚙️ Мешанка по ключевым запросом из сниппетов с ссылками и блоками ссылок. Пример: https://webcache.googleusercontent.com/search?q=cache:https://mxqzsnpbw.digiterrio.fr/

Контент на новых доменах:

⚙️ Мешанка по ключевым запросом из сниппетов, причем можно без ссылок Пример: https://webcache.googleusercontent.com/search?q=cache:https://bartlomiejslowinski.pl/myfreecam-mobile.html.

У меня нет полной картины, поскольку я не создатель этих сеток, но основные моменты были протестированы мной еще несколько лет назад, поэтому ниже я скорее опишу основы своей схемы, чем той, которую используют в примерах.

Как получить индекс?

В основном, с помощью редиректа поискового бота. Но для этого нужно понимать поведение GoogleBot:

ℹ️ Cамая любимая страница GoogleBot это главная страница. На основной домен заходит чаще, но и морды субдоменов не обделены вниманием. Повторные заходы бывают чаще, чем на страницы следующих уровней.

ℹ️ Внимание к страницам падает с каждым последующим уровнем, причем вероятность повторного захода стремится к нулю.

ℹ️ Видимо, многие сейчас, как и я когда-то, выбрали тактику каждый раз создавать новую ссылку в контенте с главной страницы или субдомена на случайную внутреннюю (asdasd.example.com/aa/singles-in-jericho.html), где уже делают редирект бота на целевую страницу.

Редиректы делаем:

➡️ На новый дроп и его подстраницы, которые хотим загнать в индекс

➡️ На субдомены отработанных доменов внутри фермы, чтобы загнать их в индекс, откуда бот тоже пойдет по ссылкам

Как получить ссылки?

📎 После того, как домен отработан, те же поддомены, которые используем для индексации, используем для ссылок на новые страницы нового купленного дропа.

📎 Хорошей практикой будет делать именно tiered link, когда у нас есть ссылочная ферма, которая помимо прочего передает ссылочный вес внутри фермы, как горизонтально, так и вертикально.

Причем ферма ссылок и редиректов тоже приносит трафик и встречается в топах, просто трафика меньше, основные топы всегда будет занимать первый уровень доменов.