Dart: Product SEO Engineer
Бесплатный кластеризатор по топам Для собственных нужд, я сделал кластеризатор по похожести SERP. Побудило на создание меня следующее: - Программы чаще всего сделаны под Windows. - Сервисы обычно предоставляют услугу как дополнительную. - На больших объемах…
Скрипт кластеризации по топам
Это тот же кластеризатор, что сделан на базе Colab, но для тех, кто имеет базовые навыки python.
У кого данных много, будет удобнее запускать скрипт на своем компьютере. Поскольку используемый алгоритм "наивный", в угоду меньшему расходу ресурсов и точности, он работает медленно на большом количестве ключевых слов. На миллионах может понадобиться несколько суток, но скрипт все равно справится, если ему не мешать. На Macbook я его просто запускаю в фоне и работаю, пока он с минимальной нагрузкой кластеризует, главное не выключать ноут, только уходить в режим сна.
Скачать можно здесь:
https://drive.google.com/file/d/1lBE8encNcoRntB5bz3VjQHxoxKKIF4KW/view?usp=share_link
Проект на Github:
https://github.com/dartseoengineer/keyword-clustering
Скрипт сделан с возможностью запуска в терминале (командной строке).
На вход все так же подается CSV файл с как минимум 2-мя колонками: Keywords и URL.
1. Предварительно установите библиотеки pandas и tqdm.
2. Инструкция по использованию скрипта в командной строке:
Обязательные аргументы
input_file: Путь к входному CSV файлу.
output_file: Путь для сохранения выходного файла с кластеризованными ключевыми словами.
Необязательные аргументы
-s, --separator: Разделитель во входном файле (по умолчанию: `,`).
-k, --keyword_col: Название столбца с ключевыми словами во входном файле (по умолчанию: `Keyword`).
-u, --url_col: Название столбца с URL во входном файле (по умолчанию: `URL`).
-t, --similarity_threshold: Порог схожести (по умолчанию: `0.6`).
Пример команды в терминале
Файл результатов
1. Каждая группа в колонке Group имеет номер, начинающийся с 0.
2. Ключевые фразы, которые объеденены в один кластер, будут иметь один номер группы.
3. Если фраза не имеет общих групп с другими фразами, то она выделяется в отдельную группу.
4. Если фразы не имеют собранных URL, то они все выделяются в группу -1.
Это тот же кластеризатор, что сделан на базе Colab, но для тех, кто имеет базовые навыки python.
У кого данных много, будет удобнее запускать скрипт на своем компьютере. Поскольку используемый алгоритм "наивный", в угоду меньшему расходу ресурсов и точности, он работает медленно на большом количестве ключевых слов. На миллионах может понадобиться несколько суток, но скрипт все равно справится, если ему не мешать. На Macbook я его просто запускаю в фоне и работаю, пока он с минимальной нагрузкой кластеризует, главное не выключать ноут, только уходить в режим сна.
Скачать можно здесь:
https://drive.google.com/file/d/1lBE8encNcoRntB5bz3VjQHxoxKKIF4KW/view?usp=share_link
Проект на Github:
https://github.com/dartseoengineer/keyword-clustering
Скрипт сделан с возможностью запуска в терминале (командной строке).
На вход все так же подается CSV файл с как минимум 2-мя колонками: Keywords и URL.
1. Предварительно установите библиотеки pandas и tqdm.
pip install pandas
pip install tqdm
2. Инструкция по использованию скрипта в командной строке:
Обязательные аргументы
input_file: Путь к входному CSV файлу.
output_file: Путь для сохранения выходного файла с кластеризованными ключевыми словами.
Необязательные аргументы
-s, --separator: Разделитель во входном файле (по умолчанию: `,`).
-k, --keyword_col: Название столбца с ключевыми словами во входном файле (по умолчанию: `Keyword`).
-u, --url_col: Название столбца с URL во входном файле (по умолчанию: `URL`).
-t, --similarity_threshold: Порог схожести (по умолчанию: `0.6`).
Пример команды в терминале
python jaccard-score-cli.py for-clustering.csv clustered_keywords.csv -s ';' -k 'keyword' -u 'url' -t 0.6
Файл результатов
1. Каждая группа в колонке Group имеет номер, начинающийся с 0.
2. Ключевые фразы, которые объеденены в один кластер, будут иметь один номер группы.
3. Если фраза не имеет общих групп с другими фразами, то она выделяется в отдельную группу.
4. Если фразы не имеют собранных URL, то они все выделяются в группу -1.
Telegram
Advanced SEO
Бесплатный кластеризатор по топам
Для собственных нужд, я сделал кластеризатор по похожести SERP. Побудило на создание меня следующее:
- Программы чаще всего сделаны под Windows.
- Сервисы обычно предоставляют услугу как дополнительную.
- На больших объемах…
Для собственных нужд, я сделал кластеризатор по похожести SERP. Побудило на создание меня следующее:
- Программы чаще всего сделаны под Windows.
- Сервисы обычно предоставляют услугу как дополнительную.
- На больших объемах…
Кластеризатор массивных семантических ядер по схожести выдачи
Для огромных семантических ядер скорость и масштабирумость группировки может быть более важна, чем ее точность, поэтому для таких случаев у меня был в запасе другой алгоритм. Он является продолжением идеи кластеризации через меру Жаккара описанной в предыдущих постах (1, 2). В комментариях к постам и в личных сообщениях возник интерес к решениям для массивных семантических ядер, поэтому я переписал предыдущий скрипт для них.
За репост буду благодарен! 🙏
В алгоритме используется техника MinHash и LSH. Этот метод, основанный на хэшировании и индексации множеств, позволяет быстро искать частичные дубликаты на больших данных. Он также, как кластеризатор из предыдущих постов, менее ресурсоемкий, чем векторное преобразование и операции над матрицами.
В чем разница между мерой Жаккара и этим решением?
Точность vs. Эффективность: Коэффициент Жаккара обеспечивает точное значение схожести, но неэффективен для больших данных. MinHash и LSH предоставляют приближенное значение, но значительно более эффективны для обработки больших объемов данных.
Например, японское семантическое ядро в 480 тысяч ключевых фраз было сгруппировано за 30 минут. Конечный результат вполне устроил, учитывая, что метод на основе Жаккара считал такой объем более суток. Отлично подойдет для дорвейщиков!
Скачать можно здесь:
https://drive.google.com/file/d/1b01TbXmWINe3w0haneMcHVy-opFZkwqH/view?usp=share_link
Проект на Github:
https://github.com/dartseoengineer/keyword-clustering-minhash
Инструкция
Внимание! Этот скрипт только кластеризует, для сбора выдачи используйте сторонние программы, например, A-Parser.
1. Предварительно установите библиотеки pandas и tqdm.
2. Инструкция по использованию скрипта в командной строке:
Обязательные аргументы
input_file: Путь к входному CSV файлу.
output_file: Путь для сохранения выходного файла с кластеризованными ключевыми словами.
Необязательные аргументы
-s, --separator: Разделитель во входном файле (по умолчанию: `,`).
-k, --keyword_col: Название столбца с ключевыми словами во входном файле (по умолчанию: `Keyword`).
-u, --url_col: Название столбца с URL во входном файле (по умолчанию: `URL`).
-t, --similarity_threshold: Порог схожести (по умолчанию: `0.6`).
Пример команды в терминале
Файл результатов
1. Каждая группа в колонке Group имеет номер, начинающийся с 0.
2. Ключевые фразы, которые объеденены в один кластер, будут иметь один номер группы.
3. Если фраза не имеет общих групп с другими фразами, то она выделяется в отдельную группу.
4. Если фразы не имеют собранных URL, то они все выделяются в группу -1.
Для огромных семантических ядер скорость и масштабирумость группировки может быть более важна, чем ее точность, поэтому для таких случаев у меня был в запасе другой алгоритм. Он является продолжением идеи кластеризации через меру Жаккара описанной в предыдущих постах (1, 2). В комментариях к постам и в личных сообщениях возник интерес к решениям для массивных семантических ядер, поэтому я переписал предыдущий скрипт для них.
За репост буду благодарен! 🙏
В алгоритме используется техника MinHash и LSH. Этот метод, основанный на хэшировании и индексации множеств, позволяет быстро искать частичные дубликаты на больших данных. Он также, как кластеризатор из предыдущих постов, менее ресурсоемкий, чем векторное преобразование и операции над матрицами.
В чем разница между мерой Жаккара и этим решением?
Точность vs. Эффективность: Коэффициент Жаккара обеспечивает точное значение схожести, но неэффективен для больших данных. MinHash и LSH предоставляют приближенное значение, но значительно более эффективны для обработки больших объемов данных.
Например, японское семантическое ядро в 480 тысяч ключевых фраз было сгруппировано за 30 минут. Конечный результат вполне устроил, учитывая, что метод на основе Жаккара считал такой объем более суток. Отлично подойдет для дорвейщиков!
Скачать можно здесь:
https://drive.google.com/file/d/1b01TbXmWINe3w0haneMcHVy-opFZkwqH/view?usp=share_link
Проект на Github:
https://github.com/dartseoengineer/keyword-clustering-minhash
Инструкция
Внимание! Этот скрипт только кластеризует, для сбора выдачи используйте сторонние программы, например, A-Parser.
1. Предварительно установите библиотеки pandas и tqdm.
pip install pandas
pip install tqdm
pip install datasketch
2. Инструкция по использованию скрипта в командной строке:
Обязательные аргументы
input_file: Путь к входному CSV файлу.
output_file: Путь для сохранения выходного файла с кластеризованными ключевыми словами.
Необязательные аргументы
-s, --separator: Разделитель во входном файле (по умолчанию: `,`).
-k, --keyword_col: Название столбца с ключевыми словами во входном файле (по умолчанию: `Keyword`).
-u, --url_col: Название столбца с URL во входном файле (по умолчанию: `URL`).
-t, --similarity_threshold: Порог схожести (по умолчанию: `0.6`).
Пример команды в терминале
python minhash-cluster-cli.py for-clustering.csv clustered_keywords.csv -s ';' -k 'keyword' -u 'url' -t 0.6
Файл результатов
1. Каждая группа в колонке Group имеет номер, начинающийся с 0.
2. Ключевые фразы, которые объеденены в один кластер, будут иметь один номер группы.
3. Если фраза не имеет общих групп с другими фразами, то она выделяется в отдельную группу.
4. Если фразы не имеют собранных URL, то они все выделяются в группу -1.
Telegram
Advanced SEO
Бесплатный кластеризатор по топам
Для собственных нужд, я сделал кластеризатор по похожести SERP. Побудило на создание меня следующее:
- Программы чаще всего сделаны под Windows.
- Сервисы обычно предоставляют услугу как дополнительную.
- На больших объемах…
Для собственных нужд, я сделал кластеризатор по похожести SERP. Побудило на создание меня следующее:
- Программы чаще всего сделаны под Windows.
- Сервисы обычно предоставляют услугу как дополнительную.
- На больших объемах…
Ищите новые способы монетизации!
Мы все понимаем, что добыча трафика — это основная головная боль, но его монетизация также может стать серьезным вызовом. Особенно для дорвейщиков, которые полагаются на смартлинки и продолжают жаловаться на низкую конверсию и снижение доходности.
💡 Поиск монетизации — это часть процесса.
Не всегда офферы, представленные у партнерок, обеспечат вам выгодные условия. Несколько лет назад, еще до глобального апдейта японского Google, я генерировал японский dating-трафик с помощью дорвеев. Однако доход от lospollos был не выше $2,95 за 1000 уников (на картинке), а другие партнерки тоже не радовали.
👀 Мой эксперимент: Я искал офферы на японских сайтах, использовал форумы, Facebook и соцсети. В итоге нашел ребят, готовых платить $10 за 1000 уников (но не более $200 в сутки) японского дорвейного дейтинг трафика. При моих 10-15k трафика ежедневно и затратах в районе $250 в месяц на его поддержку, это был неплохой оффер! Пока у них не начались проблемы со стартапом, конечно :)
🔍 Что делать?
- Ищите офферы в интернете.
- Делайте объявления в группах социальных сетей и форумах.
- Помните, что белый бизнес готов покупать даже не самый качественный трафик.
Запомните, нытье о низкой конверсии не поможет! Всегда где-то там может оказаться ваш "золотой" оффер.
Мы все понимаем, что добыча трафика — это основная головная боль, но его монетизация также может стать серьезным вызовом. Особенно для дорвейщиков, которые полагаются на смартлинки и продолжают жаловаться на низкую конверсию и снижение доходности.
💡 Поиск монетизации — это часть процесса.
Не всегда офферы, представленные у партнерок, обеспечат вам выгодные условия. Несколько лет назад, еще до глобального апдейта японского Google, я генерировал японский dating-трафик с помощью дорвеев. Однако доход от lospollos был не выше $2,95 за 1000 уников (на картинке), а другие партнерки тоже не радовали.
👀 Мой эксперимент: Я искал офферы на японских сайтах, использовал форумы, Facebook и соцсети. В итоге нашел ребят, готовых платить $10 за 1000 уников (но не более $200 в сутки) японского дорвейного дейтинг трафика. При моих 10-15k трафика ежедневно и затратах в районе $250 в месяц на его поддержку, это был неплохой оффер! Пока у них не начались проблемы со стартапом, конечно :)
🔍 Что делать?
- Ищите офферы в интернете.
- Делайте объявления в группах социальных сетей и форумах.
- Помните, что белый бизнес готов покупать даже не самый качественный трафик.
Запомните, нытье о низкой конверсии не поможет! Всегда где-то там может оказаться ваш "золотой" оффер.
Indexing API: предупреждение от Google
Google добавили предупреждение спамерам о злоупотреблении Indexing API.
- Все отправки через Indexing API проверяются на спам.
- Попытки злоупотребления API ведут к аннулированию доступа.
- Примеры злоупотреблений: использование нескольких аккаунтов, превышение квот.
Google добавили предупреждение спамерам о злоупотреблении Indexing API.
- Все отправки через Indexing API проверяются на спам.
- Попытки злоупотребления API ведут к аннулированию доступа.
- Примеры злоупотреблений: использование нескольких аккаунтов, превышение квот.
Indexing API похоже всё
Еще 24 сентября пользователь brian lowery заметил, что теперь в документации стандартная квота выдается только для тестирования, чтобы использовать API необходимо теперь заполнять форму и ждать апрува. Также brian lowery заявил, что API не работает даже на его сайте с вакансиями.
Пока неизвестно сможет ли кто-то все-таки получить апрув в новых реалиях, старые ключи судя по опросам ни у кого не работают (кроме тех, кто любит приврать), будем следить за ситуацией, но возможно краник прикрыли.
Индексирующие сервисы приуныли.
Еще 24 сентября пользователь brian lowery заметил, что теперь в документации стандартная квота выдается только для тестирования, чтобы использовать API необходимо теперь заполнять форму и ждать апрува. Также brian lowery заявил, что API не работает даже на его сайте с вакансиями.
Пока неизвестно сможет ли кто-то все-таки получить апрув в новых реалиях, старые ключи судя по опросам ни у кого не работают (кроме тех, кто любит приврать), будем следить за ситуацией, но возможно краник прикрыли.
Индексирующие сервисы приуныли.
Вотермаркинг AI-контента от Google
Google DeepMind выпустила в open source технологию SynthID для создания и распознавания цифровых водяных знаков в контенте, созданном с помощью искусственного интеллекта. SynthID позволяет разработчикам внедрять незаметные для человека водяные знаки в текст, изображения, видео и аудио, с возможностью их последующей идентификации. Для текстов доступна версия SynthID Text, интегрированная в библиотеку Hugging Face Transformers и представленная на GitHub. Водяные знаки устойчивы к незначительным изменениям контента, однако могут ослабевать при значительных модификациях или переводах. Технология направлена на борьбу с дезинформацией и неправильной атрибуцией AI-контента.
Интересно, как много разработчиков LLM-ок внедрят у себя подобное и предоставят поисковикам инструменты быстрого определения?
https://deepmind.google/technologies/synthid/
https://ai.google.dev/responsible/docs/safeguards/synthid
https://huggingface.co/blog/synthid-text
https://github.com/google-deepmind/synthid-text
Google DeepMind выпустила в open source технологию SynthID для создания и распознавания цифровых водяных знаков в контенте, созданном с помощью искусственного интеллекта. SynthID позволяет разработчикам внедрять незаметные для человека водяные знаки в текст, изображения, видео и аудио, с возможностью их последующей идентификации. Для текстов доступна версия SynthID Text, интегрированная в библиотеку Hugging Face Transformers и представленная на GitHub. Водяные знаки устойчивы к незначительным изменениям контента, однако могут ослабевать при значительных модификациях или переводах. Технология направлена на борьбу с дезинформацией и неправильной атрибуцией AI-контента.
Интересно, как много разработчиков LLM-ок внедрят у себя подобное и предоставят поисковикам инструменты быстрого определения?
https://deepmind.google/technologies/synthid/
https://ai.google.dev/responsible/docs/safeguards/synthid
https://huggingface.co/blog/synthid-text
https://github.com/google-deepmind/synthid-text
Google DeepMind
Google SynthID
SynthID is a tool to watermark and identify AI-generated content, helping to foster transparency and trust in generative AI.
Подводя итоги года: рост, изменения и новые горизонты
Решил поделиться итогами и немного рассказать о том, что удалось достичь.
Все, чем занимался в этом году, показало значительный рост. Владельцы проектов довольны иксами, а я рад видеть, что мой вклад приносит трехзначные проценты прироста. Даже те, кому помогал буквально парой советов, демонстрируют успех. Иногда достаточно небольшого технического изменения, чтобы сайт начал ранжироваться по нужным ключам.
Особенное внимание в этом году я уделил User Experience. Поведение посетителей сайта — это кладезь инсайтов. Если у вас много трафика, обязательно изучайте, как люди взаимодействуют с сайтом. Вы удивитесь, сколько мелочей можно улучшить, даже тех, что на первый взгляд кажутся незначительными.
Для себя я осознал, что простой "манимейкинг" больше не вдохновляет. Гонка за доходами на дорвеях — это не мой путь. Наоборот, работа с масштабными проектами дала понять, что я хочу создавать что-то глобальное и значимое.
В дорвеях и своих небольших проектах мне не удавалось применить весь багаж знаний и навыков. А вот на крупных проектах, где месячный трафик исчисляется миллиардами, мои умения по-настоящему востребованы. Правда, объяснить коллегам по SEO, как "формулы с логарифмами" помогают в оптимизации, бывает не так просто. 🙂
Хотелось в этом году вернуться к своим ДДЛ-проектам — протестировал несколько идей, и они вполне рабочие. Но... руки не поднимаются. Подбор доменов, клепание и прочие рутинные задачи не приносят удовольствия, а только выжигают мотивацию.
Я занимаюсь проектами из топ-50 и топ-100 мира (по Similarweb). Это большая ответственность, немалый стресс и, что интересно, денег меньше, чем со своих сайтов. Но зато есть удовлетворение от работы, понимание, что делаешь что-то действительно стоящее.
Еще одно важное наблюдение за год: я почти перестал писать посты. Тем накопилось очень много, и среди них есть действительно полезные материалы для SEO-коммьюнити. Но часть вещей коллеги просят не публиковать, а до других тем просто не доходят руки. Постараюсь исправить это в следующем году — хочется делиться знаниями чаще.
Год был насыщенным, продуктивным и дал мне четкое понимание, куда двигаться дальше. А как у вас прошел этот год?
Решил поделиться итогами и немного рассказать о том, что удалось достичь.
Все, чем занимался в этом году, показало значительный рост. Владельцы проектов довольны иксами, а я рад видеть, что мой вклад приносит трехзначные проценты прироста. Даже те, кому помогал буквально парой советов, демонстрируют успех. Иногда достаточно небольшого технического изменения, чтобы сайт начал ранжироваться по нужным ключам.
Особенное внимание в этом году я уделил User Experience. Поведение посетителей сайта — это кладезь инсайтов. Если у вас много трафика, обязательно изучайте, как люди взаимодействуют с сайтом. Вы удивитесь, сколько мелочей можно улучшить, даже тех, что на первый взгляд кажутся незначительными.
Для себя я осознал, что простой "манимейкинг" больше не вдохновляет. Гонка за доходами на дорвеях — это не мой путь. Наоборот, работа с масштабными проектами дала понять, что я хочу создавать что-то глобальное и значимое.
В дорвеях и своих небольших проектах мне не удавалось применить весь багаж знаний и навыков. А вот на крупных проектах, где месячный трафик исчисляется миллиардами, мои умения по-настоящему востребованы. Правда, объяснить коллегам по SEO, как "формулы с логарифмами" помогают в оптимизации, бывает не так просто. 🙂
Хотелось в этом году вернуться к своим ДДЛ-проектам — протестировал несколько идей, и они вполне рабочие. Но... руки не поднимаются. Подбор доменов, клепание и прочие рутинные задачи не приносят удовольствия, а только выжигают мотивацию.
Я занимаюсь проектами из топ-50 и топ-100 мира (по Similarweb). Это большая ответственность, немалый стресс и, что интересно, денег меньше, чем со своих сайтов. Но зато есть удовлетворение от работы, понимание, что делаешь что-то действительно стоящее.
Еще одно важное наблюдение за год: я почти перестал писать посты. Тем накопилось очень много, и среди них есть действительно полезные материалы для SEO-коммьюнити. Но часть вещей коллеги просят не публиковать, а до других тем просто не доходят руки. Постараюсь исправить это в следующем году — хочется делиться знаниями чаще.
Год был насыщенным, продуктивным и дал мне четкое понимание, куда двигаться дальше. А как у вас прошел этот год?
Reddit Pro Trends: Новый инструмент для бизнеса
Реддит выпустил новый инструмент чем-то похожий на Google Trends, позволяющий бизнесу следить за обсуждениями любых тем на Reddit в реальном времени:
https://www.business.reddit.com/blog/reddit-pro-trends-launch
Особенности инструмента:
- Основан на отслеживании ключевых фраз для выявления сообществ, обсуждений и трендов, важных для вашего бизнеса.
- Контекстная релевантность топиков ключевым словам.
- Позволяет видеть, что и, главное, как часто говорят о ваших ключевых словах, оценивая интерес аудитории в текущий момент.
Для использования инструмента необходимо зарегистрироваться в Reddit Pro, бесплатно, но я еще не получил аппрув.
Для SEO-специалистов вижу следующую потенциальную пользу:
- Узнавать дополнительные темы и ключевые слова, которые популярны в тематике.
- С помощью тредов можно понять, что беспокоит юзеров в данный момент и создать посадочные отвечающие на вопрос на вашем сайте.
- В целом, лучше понимать, что нужно потенциальной аудитории сайта.
...но насколько это все оправдается, поймем в процессе использования. :)
Реддит выпустил новый инструмент чем-то похожий на Google Trends, позволяющий бизнесу следить за обсуждениями любых тем на Reddit в реальном времени:
https://www.business.reddit.com/blog/reddit-pro-trends-launch
Особенности инструмента:
- Основан на отслеживании ключевых фраз для выявления сообществ, обсуждений и трендов, важных для вашего бизнеса.
- Контекстная релевантность топиков ключевым словам.
- Позволяет видеть, что и, главное, как часто говорят о ваших ключевых словах, оценивая интерес аудитории в текущий момент.
Для использования инструмента необходимо зарегистрироваться в Reddit Pro, бесплатно, но я еще не получил аппрув.
Для SEO-специалистов вижу следующую потенциальную пользу:
- Узнавать дополнительные темы и ключевые слова, которые популярны в тематике.
- С помощью тредов можно понять, что беспокоит юзеров в данный момент и создать посадочные отвечающие на вопрос на вашем сайте.
- В целом, лучше понимать, что нужно потенциальной аудитории сайта.
...но насколько это все оправдается, поймем в процессе использования. :)
Проблемы с парсингом выдачи Google
Если у вас возникают сложности со скрейпингом Google, вы не одни. Даже крупнейшие сервисы трекинга позиций столкнулись с этой проблемой. Как сообщили в Similarweb Барри Шварцу, неполадки начались 15 января, когда Google ввел новые методики борьбы с автоматическими запросами.
Ребята из A-Parser оперативно выпустили фикс вчера, но уже сегодня парсинг снова перестал работать. Команда обещает разобраться. UPD: выпустили новый фикс.
Следим за развитием ситуации.
Если у вас возникают сложности со скрейпингом Google, вы не одни. Даже крупнейшие сервисы трекинга позиций столкнулись с этой проблемой. Как сообщили в Similarweb Барри Шварцу, неполадки начались 15 января, когда Google ввел новые методики борьбы с автоматическими запросами.
Ребята из A-Parser оперативно выпустили фикс вчера, но уже сегодня парсинг снова перестал работать. Команда обещает разобраться. UPD: выпустили новый фикс.
Следим за развитием ситуации.
Марафон по линкбилдингу
Мой хороший приятель запускает марафон по линкбилдингу с целью вывода новорег-домена из песочницы и достижения видимости в Google. Участники смогут протестировать различные методы линкбилдинга в конкурентных нишах на новых EMD-доменах. Марафон длится 30-45 дней, и участники должны следовать установленным правилам. Старт запланирован на пятницу.
Мой хороший приятель запускает марафон по линкбилдингу с целью вывода новорег-домена из песочницы и достижения видимости в Google. Участники смогут протестировать различные методы линкбилдинга в конкурентных нишах на новых EMD-доменах. Марафон длится 30-45 дней, и участники должны следовать установленным правилам. Старт запланирован на пятницу.
Telegram
DoberrrOK Trends
ЗАПУСК МАРАФОНА ПО ЛИНКБИЛДИНГУ!
Друзья, помните, как раньше мы обожали марафоны? А сейчас куда ни глянь — сплошные марафоны «разводы»: обещают раскачать депозит с $100 до $100k, и опять скам, снова крипта. Пора вернуть интерактив и настоящую ценность для…
Друзья, помните, как раньше мы обожали марафоны? А сейчас куда ни глянь — сплошные марафоны «разводы»: обещают раскачать депозит с $100 до $100k, и опять скам, снова крипта. Пора вернуть интерактив и настоящую ценность для…
Яндекс делает дорвеи?
В последнее время в поисковой выдаче Google по запросам на русском языке начали часто появляться два проекта от Яндекс, которые, на первый взгляд, имеют все признаки дорвеегенерации.
Проект 1: https://300.ya.ru
- Проект генерирует текстовые аннотации к любым видео на YouTube и других сервисах на русском языке (пример: https://300.ya.ru/v_2tJfSaq6).
- Для индексирования только аннотаций к видео в файле robots.txt добавлено специальное правило
- Поддерживается обширный сайтмап со ссылками на пересказы видео https://300.ya.ru/sitemap.xml.
- Судя по баннеру, проект является дорвеем для перенаправления трафика на Яндекс.Браузер.
Проект 2: https://ya.ru/neurum
- Генерируются ответы через YandexGPT на основе других источников (пример: https://ya.ru/neurum/c/nauka-i-obrazovanie/q/v_chem_zaklyuchaetsya_osnovnoy_nedostatok_algoritma_2a219833).
- Есть ссылка на лендинг https://ya.ru/neuro-search/, используемый для перенаправления трафика на Яндекс.Браузер, а также ссылка на поиск в Яндекс.
- Некоторые вопросы в разделе Другое, кажется, взяты с mail.ru (?).
- В файле ya.ru/robots.txt специально для юзерагента Googlebot размещен сайтмап с посадочными страницами https://ya.ru/neurum/sitemaps/sitemap.xml.gz.
Другие проекты:
В том же https://ya.ru/robots.txt для Googlebot указаны еще два сайтмапа менее агрессивных программатик проектов:
- Медицина: https://ya.ru/medicine/sitemaps/sitemap.xml
- Финансы: https://ya.ru/finance/sitemaps/sitemap.xml
Вывод:
Если это сработало для русского языка, то должен сработать похожий подход и для других языков в Google. Берите на заметку :)
P.S. Если кто-то хочет зарепортить в Google, что эти сайты нарушают правила поисковой системы, велкам: https://search.google.com/search-console/report-spam
В последнее время в поисковой выдаче Google по запросам на русском языке начали часто появляться два проекта от Яндекс, которые, на первый взгляд, имеют все признаки дорвеегенерации.
Проект 1: https://300.ya.ru
- Проект генерирует текстовые аннотации к любым видео на YouTube и других сервисах на русском языке (пример: https://300.ya.ru/v_2tJfSaq6).
- Для индексирования только аннотаций к видео в файле robots.txt добавлено специальное правило
Allow: /v_*$.- Поддерживается обширный сайтмап со ссылками на пересказы видео https://300.ya.ru/sitemap.xml.
- Судя по баннеру, проект является дорвеем для перенаправления трафика на Яндекс.Браузер.
Проект 2: https://ya.ru/neurum
- Генерируются ответы через YandexGPT на основе других источников (пример: https://ya.ru/neurum/c/nauka-i-obrazovanie/q/v_chem_zaklyuchaetsya_osnovnoy_nedostatok_algoritma_2a219833).
- Есть ссылка на лендинг https://ya.ru/neuro-search/, используемый для перенаправления трафика на Яндекс.Браузер, а также ссылка на поиск в Яндекс.
- Некоторые вопросы в разделе Другое, кажется, взяты с mail.ru (?).
- В файле ya.ru/robots.txt специально для юзерагента Googlebot размещен сайтмап с посадочными страницами https://ya.ru/neurum/sitemaps/sitemap.xml.gz.
Другие проекты:
В том же https://ya.ru/robots.txt для Googlebot указаны еще два сайтмапа менее агрессивных программатик проектов:
- Медицина: https://ya.ru/medicine/sitemaps/sitemap.xml
- Финансы: https://ya.ru/finance/sitemaps/sitemap.xml
Вывод:
Если это сработало для русского языка, то должен сработать похожий подход и для других языков в Google. Берите на заметку :)
P.S. Если кто-то хочет зарепортить в Google, что эти сайты нарушают правила поисковой системы, велкам: https://search.google.com/search-console/report-spam
Ключевые моменты из документа о поисковых технологиях Google
В документе, датированном 18 февраля 2025 года и являющемся записью разговора с инженером Google HJ Kim, обсуждаются различные аспекты работы поисковой системы Google, с акцентом на принципы ранжирования и используемые сигналы.
"Ручная настройка" сигналов
Большинство сигналов, за исключением основанных на машинном обучении RankBrain и DeepRank, создаются и настраиваются инженерами "вручную". Это позволяет анализировать и корректировать их работу. Процесс разработки включает анализ данных, использование сигмоидных или других функций и определение пороговых значений. В некоторых случаях инженеры могут вручную выбирать среднюю точку на основе релевантных данных. Для большинства сигналов используется регрессионный анализ данных, таких как контент и структура веб-страниц, клики пользователей и данные от асессоров.
Фундаментальные сигналы (ABC) и Тематическая релевантность (Topicality)
Ключевыми компонентами являются так называемые ABC-сигналы, разработанные инженерами:
- Anchors (A): Ссылки с одной страницы на другую.
- Body (B): Термины, содержащиеся в документе.
- Clicks (C): Исторические данные о том, как долго пользователь оставался на странице после перехода из поисковой выдачи.
Эти сигналы лежат в основе определения тематической релевантности (Topicality или T*) документа по отношению к запросу. Topicality объединяет эти три сигнала "вручную" и используется Google для оценки релевантности документа на основе поисковых терминов. Разработка этого показателя требовала значительных усилий и находилась в постоянном развитии до недавнего времени (примерно до 2020 года).
Преимущества "ручной настройки"
Основная причина "ручной настройки" большинства сигналов заключается в том, что в случае сбоев Google точно знает, что и как исправлять. Google стремится к полной прозрачности своих сигналов для возможности их отладки и улучшения. Это рассматривается как значительное преимущество перед конкурентами, такими как Bing, которые используют более сложные системы машинного обучения, затрудняющие выявление и устранение проблем.
Кривые ранжирующих сигналов и компоненты IR-оценки
Инженеры Google строят графики ("кривые") для ранжирующих сигналов, и подгонка этих кривых происходит на каждом уровне сигналов. Основными компонентами, формирующими итоговую оценку информационной релевантности (IR score), являются ABC-сигналы (тематическая релевантность, связанная с конкретным запросом) и Navboost.
Качество (Quality - Q*)
Сигнал качества (Q*), отражающий надежность и авторитетность страницы, является чрезвычайно важным. В основном он статичен и не зависит от конкретного запроса, хотя в некоторых случаях может учитывать информацию из запроса для предоставления более точных результатов. Команда по качеству страниц была создана около 17 лет назад, в частности, для борьбы с проблемой "ферм контента" – сайтов, массово производящих низкокачественные статьи. Проблема качества контента остается актуальной, особенно с развитием технологий искусственного интеллекта. Поскольку Q* в значительной степени статичен и связан скорее с сайтом, чем с запросом, его можно было бы легко реконструировать при наличии соответствующих данных.
В документе, датированном 18 февраля 2025 года и являющемся записью разговора с инженером Google HJ Kim, обсуждаются различные аспекты работы поисковой системы Google, с акцентом на принципы ранжирования и используемые сигналы.
"Ручная настройка" сигналов
Большинство сигналов, за исключением основанных на машинном обучении RankBrain и DeepRank, создаются и настраиваются инженерами "вручную". Это позволяет анализировать и корректировать их работу. Процесс разработки включает анализ данных, использование сигмоидных или других функций и определение пороговых значений. В некоторых случаях инженеры могут вручную выбирать среднюю точку на основе релевантных данных. Для большинства сигналов используется регрессионный анализ данных, таких как контент и структура веб-страниц, клики пользователей и данные от асессоров.
Фундаментальные сигналы (ABC) и Тематическая релевантность (Topicality)
Ключевыми компонентами являются так называемые ABC-сигналы, разработанные инженерами:
- Anchors (A): Ссылки с одной страницы на другую.
- Body (B): Термины, содержащиеся в документе.
- Clicks (C): Исторические данные о том, как долго пользователь оставался на странице после перехода из поисковой выдачи.
Эти сигналы лежат в основе определения тематической релевантности (Topicality или T*) документа по отношению к запросу. Topicality объединяет эти три сигнала "вручную" и используется Google для оценки релевантности документа на основе поисковых терминов. Разработка этого показателя требовала значительных усилий и находилась в постоянном развитии до недавнего времени (примерно до 2020 года).
Преимущества "ручной настройки"
Основная причина "ручной настройки" большинства сигналов заключается в том, что в случае сбоев Google точно знает, что и как исправлять. Google стремится к полной прозрачности своих сигналов для возможности их отладки и улучшения. Это рассматривается как значительное преимущество перед конкурентами, такими как Bing, которые используют более сложные системы машинного обучения, затрудняющие выявление и устранение проблем.
Кривые ранжирующих сигналов и компоненты IR-оценки
Инженеры Google строят графики ("кривые") для ранжирующих сигналов, и подгонка этих кривых происходит на каждом уровне сигналов. Основными компонентами, формирующими итоговую оценку информационной релевантности (IR score), являются ABC-сигналы (тематическая релевантность, связанная с конкретным запросом) и Navboost.
Качество (Quality - Q*)
Сигнал качества (Q*), отражающий надежность и авторитетность страницы, является чрезвычайно важным. В основном он статичен и не зависит от конкретного запроса, хотя в некоторых случаях может учитывать информацию из запроса для предоставления более точных результатов. Команда по качеству страниц была создана около 17 лет назад, в частности, для борьбы с проблемой "ферм контента" – сайтов, массово производящих низкокачественные статьи. Проблема качества контента остается актуальной, особенно с развитием технологий искусственного интеллекта. Поскольку Q* в значительной степени статичен и связан скорее с сайтом, чем с запросом, его можно было бы легко реконструировать при наличии соответствующих данных.
Ключевые моменты из документа о поисковых технологиях Google (2)
Другие сигналы
- eDeepRank: Система на основе больших языковых моделей (LLM), использующая BERT и трансформеры. Ее цель – разложить сигналы на компоненты для повышения их прозрачности.
- PageRank: Сигнал, отражающий расстояние от известного качественного источника и используемый как входной параметр для оценки качества (Q*).
Поисковый индекс
По определению HJ Kim, поисковый индекс состоит из фактического просканированного контента – заголовков и основного текста документов (инвертированный индекс). Существуют также отдельные специализированные инвертированные индексы для других типов контента (например, из Twitter, Macy's), которые хранятся отдельно от индекса для органических результатов. Сигналы, зависящие от запроса, не хранятся в индексе, а вычисляются в момент выполнения запроса. Однако для удобства некоторые сигналы, включая Q* (который в основном статичен, но иногда зависит от запроса), хранятся непосредственно в поисковом индексе.
Данные со стороны пользователя
Под данными со стороны пользователя (User-Side Data) инженеры Google понимают данные о взаимодействии пользователя с системой, а не контент, созданный пользователями (например, ссылки между страницами).
Поисковые функции и их ранжирование
Различные элементы поисковой выдачи, такие как "10 синих ссылок" и другие вертикали (например, панели знаний), имеют собственные системы ранжирования. Проект Tangram (ранее Tetris) был создан для применения основных принципов поиска ко всем этим элементам. Алгоритмы Tangram/Tetris, как и другие, было сложно разработать, но их можно было бы легко реконструировать при наличии данных о кликах и запросах. Knowledge Graph (Граф знаний) используется не только для отображения в панелях на странице результатов поиска, но и для улучшения традиционного поиска, предоставляя ему информацию о связях между объектами (например, в запросе о росте жены Барака Обамы).
Риски обратной разработки (Reverse Engineering)
В документе выражается обеспокоенность тем, что утечка документов Google, раскрывающих некоторые компоненты системы ранжирования, в сочетании с данными о работе системы, может позволить конкурентам реконструировать принципы работы, включая кривые и пороговые значения, без необходимости проводить собственные дорогостоящие исследования.
Другие сигналы
- eDeepRank: Система на основе больших языковых моделей (LLM), использующая BERT и трансформеры. Ее цель – разложить сигналы на компоненты для повышения их прозрачности.
- PageRank: Сигнал, отражающий расстояние от известного качественного источника и используемый как входной параметр для оценки качества (Q*).
Поисковый индекс
По определению HJ Kim, поисковый индекс состоит из фактического просканированного контента – заголовков и основного текста документов (инвертированный индекс). Существуют также отдельные специализированные инвертированные индексы для других типов контента (например, из Twitter, Macy's), которые хранятся отдельно от индекса для органических результатов. Сигналы, зависящие от запроса, не хранятся в индексе, а вычисляются в момент выполнения запроса. Однако для удобства некоторые сигналы, включая Q* (который в основном статичен, но иногда зависит от запроса), хранятся непосредственно в поисковом индексе.
Данные со стороны пользователя
Под данными со стороны пользователя (User-Side Data) инженеры Google понимают данные о взаимодействии пользователя с системой, а не контент, созданный пользователями (например, ссылки между страницами).
Поисковые функции и их ранжирование
Различные элементы поисковой выдачи, такие как "10 синих ссылок" и другие вертикали (например, панели знаний), имеют собственные системы ранжирования. Проект Tangram (ранее Tetris) был создан для применения основных принципов поиска ко всем этим элементам. Алгоритмы Tangram/Tetris, как и другие, было сложно разработать, но их можно было бы легко реконструировать при наличии данных о кликах и запросах. Knowledge Graph (Граф знаний) используется не только для отображения в панелях на странице результатов поиска, но и для улучшения традиционного поиска, предоставляя ему информацию о связях между объектами (например, в запросе о росте жены Барака Обамы).
Риски обратной разработки (Reverse Engineering)
В документе выражается обеспокоенность тем, что утечка документов Google, раскрывающих некоторые компоненты системы ранжирования, в сочетании с данными о работе системы, может позволить конкурентам реконструировать принципы работы, включая кривые и пороговые значения, без необходимости проводить собственные дорогостоящие исследования.
PagerankNS и Q*
Теперь из слушания по делу Google мы знаем, что современный Pagerank является одним из ключевых входных параметров для расчета показателя качества Q*. В этом посте я кратко опишу сам патент и предложу стратегию линкбилдинга, вытекающую из этих данных.
Патент US9953049B1 (ключевые отличия от классического Pagerank на картинке к посту) описывает метод оценки страниц, основанный на их «расстоянии» в ссылочном графе от набора заранее выбранных авторитетных «эталонных» сайтов (seed sites). Вместо передачи «веса», система вычисляет «кратчайший путь» до каждой страницы, где у каждой ссылки есть своя «длина». Итоговый рейтинг страницы зависит от того, насколько она «близка» к этим трастовым источникам.
В качестве примера эталонных сайтов названы Google Directory и The New York Times.
Поясняется, что такие сайты являются хорошими «эталонами», поскольку они надежны, охватывают широкий круг тем и хорошо связаны с другими страницами (имеют большое число исходящих ссылок), выступая в роли «хабов» в сети.
От себя добавлю, что патент довольно старый и на практике эталонами считаются даже сайты поменьше, а какие-то крупняки, которые массово продают размещения вообще не считаются за авторитеты. Тут самостоятельно определите для себя, какие сайты считать за эталонные.
Понимая, как работает современный PageRank, можно прийти к главному стратегическому выводу: для повышения общего показателя Q* не обязательно иметь прямую ссылку с авторитетных сайтов.
Гораздо важнее находиться в "хорошем районе" интернета, то есть быть как можно ближе к "авторитетам" в ссылочном графе.
Цель: Сократить "расстояние" вашего сайта до авторитетов, тем самым повысив его базовый Q*.
Тактика:
Картографировать граф ссылок: С помощью аналитических инструментов визуализируйте, как ваш сайт и сайты конкурентов связаны с трастовыми ресурсами.
Оценивать "расстояние": Определите, через сколько "рукопожатий" (переходов по ссылкам с учетом их "длины") ваш сайт связан с авторитетами по сравнению с конкурентами.
Строить стратегию линкбилдинга: Ищите возможности для получения ссылок не только с самих "авторитетов", но с сайтов второго или третьего уровня, которые находятся максимально близко к авторитетным сайтам. Такая ссылка может оказаться тем самым "коротким путем" и дать существенный прирост в базовом качестве вашего сайта.
Итог: Фокус линкбилдинга смещается с "охоты за жирными ссылками" на стратегическое позиционирование своего сайта в экосистеме ссылок. Это не просто работа над одним из многих факторов ранжирования, а целенаправленное улучшение одного из ключевых компонентов сигнала качества Q*, который определяет базовый уровень доверия поисковой системы к вашему сайту.
Теперь из слушания по делу Google мы знаем, что современный Pagerank является одним из ключевых входных параметров для расчета показателя качества Q*. В этом посте я кратко опишу сам патент и предложу стратегию линкбилдинга, вытекающую из этих данных.
Патент US9953049B1 (ключевые отличия от классического Pagerank на картинке к посту) описывает метод оценки страниц, основанный на их «расстоянии» в ссылочном графе от набора заранее выбранных авторитетных «эталонных» сайтов (seed sites). Вместо передачи «веса», система вычисляет «кратчайший путь» до каждой страницы, где у каждой ссылки есть своя «длина». Итоговый рейтинг страницы зависит от того, насколько она «близка» к этим трастовым источникам.
В качестве примера эталонных сайтов названы Google Directory и The New York Times.
Поясняется, что такие сайты являются хорошими «эталонами», поскольку они надежны, охватывают широкий круг тем и хорошо связаны с другими страницами (имеют большое число исходящих ссылок), выступая в роли «хабов» в сети.
От себя добавлю, что патент довольно старый и на практике эталонами считаются даже сайты поменьше, а какие-то крупняки, которые массово продают размещения вообще не считаются за авторитеты. Тут самостоятельно определите для себя, какие сайты считать за эталонные.
Понимая, как работает современный PageRank, можно прийти к главному стратегическому выводу: для повышения общего показателя Q* не обязательно иметь прямую ссылку с авторитетных сайтов.
Гораздо важнее находиться в "хорошем районе" интернета, то есть быть как можно ближе к "авторитетам" в ссылочном графе.
Цель: Сократить "расстояние" вашего сайта до авторитетов, тем самым повысив его базовый Q*.
Тактика:
Картографировать граф ссылок: С помощью аналитических инструментов визуализируйте, как ваш сайт и сайты конкурентов связаны с трастовыми ресурсами.
Оценивать "расстояние": Определите, через сколько "рукопожатий" (переходов по ссылкам с учетом их "длины") ваш сайт связан с авторитетами по сравнению с конкурентами.
Строить стратегию линкбилдинга: Ищите возможности для получения ссылок не только с самих "авторитетов", но с сайтов второго или третьего уровня, которые находятся максимально близко к авторитетным сайтам. Такая ссылка может оказаться тем самым "коротким путем" и дать существенный прирост в базовом качестве вашего сайта.
Итог: Фокус линкбилдинга смещается с "охоты за жирными ссылками" на стратегическое позиционирование своего сайта в экосистеме ссылок. Это не просто работа над одним из многих факторов ранжирования, а целенаправленное улучшение одного из ключевых компонентов сигнала качества Q*, который определяет базовый уровень доверия поисковой системы к вашему сайту.
Форумы RIP?
В один день перестали работать 3 очень старых форума:
maultalk.com, gofuckbiz.com, armadaboard.com
Ходят слухи, что в тот же день закрылась и распустила штат одна уважаемая и очень старая партнерка, в названии которой присутствуют буквы R и X.
Выводы делайте для себя сами.
А пока, оказалось, что один старый и уважаемый форум закрытого типа, решил заполнить эту пустоту и открыться для всех, запустившись с нуля:
https://blackseo.com
В один день перестали работать 3 очень старых форума:
maultalk.com, gofuckbiz.com, armadaboard.com
Ходят слухи, что в тот же день закрылась и распустила штат одна уважаемая и очень старая партнерка, в названии которой присутствуют буквы R и X.
Выводы делайте для себя сами.
А пока, оказалось, что один старый и уважаемый форум закрытого типа, решил заполнить эту пустоту и открыться для всех, запустившись с нуля:
https://blackseo.com
BlackSeo.com
The best of best international SEOmasters
Remedies-Hearing-Exhibits-May-2025.zip
160.2 MB
Remedies Hearing Exhibits (May 2025)
В последнее время нескончаемый поток инсайтов из новых документов в деле против Google.
Самое важное! Я скачал за вас и переименовал все PDF из этих слушаний. Очень удобно загрузить все 70 в NotebookLM и задавать ему вопросы! Но помните, что его ответы надо перепроверять.
Прикладываю к посту.
Еще я обновил старую табличку с вещественным доказательствами и отсортировал по свежести. Старые теперь в отдельном табе.
https://docs.google.com/spreadsheets/d/1TU6UxMNdWFiKjCgM0tp94je1niWFL7Scpg-T2ZkGwxo/edit?usp=sharing
В последнее время нескончаемый поток инсайтов из новых документов в деле против Google.
Самое важное! Я скачал за вас и переименовал все PDF из этих слушаний. Очень удобно загрузить все 70 в NotebookLM и задавать ему вопросы! Но помните, что его ответы надо перепроверять.
Прикладываю к посту.
Еще я обновил старую табличку с вещественным доказательствами и отсортировал по свежести. Старые теперь в отдельном табе.
https://docs.google.com/spreadsheets/d/1TU6UxMNdWFiKjCgM0tp94je1niWFL7Scpg-T2ZkGwxo/edit?usp=sharing
Google обновил документацию по SafeSearch
- Самое важное 1: Google Search обновил ранжирующий алгоритм, который будет сильно аффектить сайты, которые хостят откровенные видео, но не дают доступ GoogleBot'у к видео-файлам. Такие сайты получат ощутимый дроп в ранжировании, особенно в Video табе поиска.
- Самое важное 2: Уточнили, что сайты с большим количеством удалений CSAM или откровенного контента без согласия могут быть понижены в ранжировании.
Остальное:
- Раньше это была одна страничка в документации краулинга, теперь вынесли отдельно на две странички.
- В целом обновили и расширили документацию.
- Расширили информацию по обработке видео-байтов.
- Добавлено больше инструкций на случай ошибочной пометки сайта как содержащего откровенный контент.
Рекомендую всем, кто работает в Safe Search нишах ознакомиться:
https://developers.google.com/search/docs/specialty/explicit/guidelines
https://developers.google.com/search/docs/specialty/explicit/troubleshooting
- Самое важное 1: Google Search обновил ранжирующий алгоритм, который будет сильно аффектить сайты, которые хостят откровенные видео, но не дают доступ GoogleBot'у к видео-файлам. Такие сайты получат ощутимый дроп в ранжировании, особенно в Video табе поиска.
- Самое важное 2: Уточнили, что сайты с большим количеством удалений CSAM или откровенного контента без согласия могут быть понижены в ранжировании.
Остальное:
- Раньше это была одна страничка в документации краулинга, теперь вынесли отдельно на две странички.
- В целом обновили и расширили документацию.
- Расширили информацию по обработке видео-байтов.
- Добавлено больше инструкций на случай ошибочной пометки сайта как содержащего откровенный контент.
Рекомендую всем, кто работает в Safe Search нишах ознакомиться:
https://developers.google.com/search/docs/specialty/explicit/guidelines
https://developers.google.com/search/docs/specialty/explicit/troubleshooting
Google прикрывает трафик на AI-изображениях
Ещё в прошлом году хотел было накатать пост о том, как поднимать трафик на сгенерированных фотках, но так и не дошли руки. Была одна рабочая "темка", о которой некоторые знакомые просили не сливать инфу в паблик, чтобы не убили быстро.
Суть была простой: в Google Image отлично ранжировались сгенеренные AI-картинки на основе конкретных известных персон, особенно всё, что связано с адалтом. Можно было генерировать фотки для топовых онлифанщиц и порнозвезд, и это имело эффект, фотографии ранжировались высоко в топе.
Почему это работало? Алгоритмы Google Картинок оказались тупо не готовы к такому качественному AI-контенту. Генерации были высокого разрешения, чёткие, и Гугл с радостью их закидывал в топ. К тому же, из-за новизны и эффекта "зловещей долины" пользователи сами активно кликали на такие изображения. Почти весь топ по жирным adult-запросам вроде "bbw porn pics" или "teen porn pics" был забит AI-фотками. Трафика было море.
Но, похоже, лавочку прикрыл сам Google.
За последнее время даже по самым обычным запросам типа "three guys on couch" из топа исчезла всякая генерёнка, хотя ещё недавно там было полно откровенной дичи.
Скорее всего, это связано с регуляциями, которые вводят государства из-за дипфейков и прочих прелестей AI. Вероятно, в Google оценили риски и решили, что проще всё это вычистить, чем потом таскаться по судам.
Даже "жирные" запросы, где люди целенаправленно ищут сгенерированный контент, вроде "ai porn", перестали показывать откровенные фото в топе выдачи. А в видео-выдаче — сначала общие сайты и куча роликов о том, как всё это теперь хотят зарегулировать.
Похоже, после объявленной войны AI-текстам, Google вышел на тропу войны и с AI-медиаконтентом.
Ещё в прошлом году хотел было накатать пост о том, как поднимать трафик на сгенерированных фотках, но так и не дошли руки. Была одна рабочая "темка", о которой некоторые знакомые просили не сливать инфу в паблик, чтобы не убили быстро.
Суть была простой: в Google Image отлично ранжировались сгенеренные AI-картинки на основе конкретных известных персон, особенно всё, что связано с адалтом. Можно было генерировать фотки для топовых онлифанщиц и порнозвезд, и это имело эффект, фотографии ранжировались высоко в топе.
Почему это работало? Алгоритмы Google Картинок оказались тупо не готовы к такому качественному AI-контенту. Генерации были высокого разрешения, чёткие, и Гугл с радостью их закидывал в топ. К тому же, из-за новизны и эффекта "зловещей долины" пользователи сами активно кликали на такие изображения. Почти весь топ по жирным adult-запросам вроде "bbw porn pics" или "teen porn pics" был забит AI-фотками. Трафика было море.
Но, похоже, лавочку прикрыл сам Google.
За последнее время даже по самым обычным запросам типа "three guys on couch" из топа исчезла всякая генерёнка, хотя ещё недавно там было полно откровенной дичи.
Скорее всего, это связано с регуляциями, которые вводят государства из-за дипфейков и прочих прелестей AI. Вероятно, в Google оценили риски и решили, что проще всё это вычистить, чем потом таскаться по судам.
Даже "жирные" запросы, где люди целенаправленно ищут сгенерированный контент, вроде "ai porn", перестали показывать откровенные фото в топе выдачи. А в видео-выдаче — сначала общие сайты и куча роликов о том, как всё это теперь хотят зарегулировать.
Похоже, после объявленной войны AI-текстам, Google вышел на тропу войны и с AI-медиаконтентом.
О слепых зонах Ahrefs и Semrush в оценке органики
Ключевое ограничение Ahrefs, Semrush заключается в том, что их модели оценки органического трафика построены на анализе классической Web-выдачи. Они берут запросы, их частотность и позиции сайта, но игнорируют другие мощные источники органики — Images, Videos и другие вкладки выдачи. Это создает искаженное представление о реальной стратегии и успехе конкурента.
Наглядный кейс: Трафик из видео
В рамках моего исследования Adult-выдачи в США в 2024-м году (на базе 400к+ англоязычных запросов) сайт letmejerk.com продемонстрировал интересный феномен. Он занял 7-е место по видимости в видео-выдаче.
Ahrefs показывал очень скромные для Adult цифры в 820к органики.
Similarweb, который рассчитывает трафик на основе кликстрима (данных о реальном поведении пользователей), фиксировал 14M ежемесячных визитов, где органика была 81% от входящего трафика.
Вывод и решение: Комплексный подход
Чтобы получить объективную оценку, не доверяйте слепо одному источнику данных. Используйте многоуровневый подход:
Ahrefs — для глубокого анализа видимости именно в веб-поиске, отслеживания динамики позиций, анализа семантического ядра и ссылочного профиля.
Similarweb — для оценки общего трафика и проверки гипотез. Если его данные по органике сильно превосходят показатели Ahrefs, вы, вероятно, нашли сайт, который эффективно использует для привлечения пользователей из Images, Videos или другой вкладки Google.
Как альтернатива внутри Semrush: сравните данные из отчета Organic Search (веб-выдача) с данными из Traffic Analytics, Sources & Destinations (кликстрим). Большая разница между ними также укажет на скрытый трафик из неосновных вкладок выдачи.
Такой подход позволяет не упустить из виду конкурентов, чья стратегия построена не на доминировании в Web поиске.
Ключевое ограничение Ahrefs, Semrush заключается в том, что их модели оценки органического трафика построены на анализе классической Web-выдачи. Они берут запросы, их частотность и позиции сайта, но игнорируют другие мощные источники органики — Images, Videos и другие вкладки выдачи. Это создает искаженное представление о реальной стратегии и успехе конкурента.
Наглядный кейс: Трафик из видео
В рамках моего исследования Adult-выдачи в США в 2024-м году (на базе 400к+ англоязычных запросов) сайт letmejerk.com продемонстрировал интересный феномен. Он занял 7-е место по видимости в видео-выдаче.
Ahrefs показывал очень скромные для Adult цифры в 820к органики.
Similarweb, который рассчитывает трафик на основе кликстрима (данных о реальном поведении пользователей), фиксировал 14M ежемесячных визитов, где органика была 81% от входящего трафика.
Вывод и решение: Комплексный подход
Чтобы получить объективную оценку, не доверяйте слепо одному источнику данных. Используйте многоуровневый подход:
Ahrefs — для глубокого анализа видимости именно в веб-поиске, отслеживания динамики позиций, анализа семантического ядра и ссылочного профиля.
Similarweb — для оценки общего трафика и проверки гипотез. Если его данные по органике сильно превосходят показатели Ahrefs, вы, вероятно, нашли сайт, который эффективно использует для привлечения пользователей из Images, Videos или другой вкладки Google.
Как альтернатива внутри Semrush: сравните данные из отчета Organic Search (веб-выдача) с данными из Traffic Analytics, Sources & Destinations (кликстрим). Большая разница между ними также укажет на скрытый трафик из неосновных вкладок выдачи.
Такой подход позволяет не упустить из виду конкурентов, чья стратегия построена не на доминировании в Web поиске.