Google обновил документацию по SafeSearch

- Самое важное 1: Google Search обновил ранжирующий алгоритм, который будет сильно аффектить сайты, которые хостят откровенные видео, но не дают доступ GoogleBot'у к видео-файлам. Такие сайты получат ощутимый дроп в ранжировании, особенно в Video табе поиска.

- Самое важное 2: Уточнили, что сайты с большим количеством удалений CSAM или откровенного контента без согласия могут быть понижены в ранжировании.

Остальное:

- Раньше это была одна страничка в документации краулинга, теперь вынесли отдельно на две странички.

- В целом обновили и расширили документацию.

- Расширили информацию по обработке видео-байтов.

- Добавлено больше инструкций на случай ошибочной пометки сайта как содержащего откровенный контент.

Рекомендую всем, кто работает в Safe Search нишах ознакомиться:

https://developers.google.com/search/docs/specialty/explicit/guidelines

https://developers.google.com/search/docs/specialty/explicit/troubleshooting

Google прикрывает трафик на AI-изображениях

Ещё в прошлом году хотел было накатать пост о том, как поднимать трафик на сгенерированных фотках, но так и не дошли руки. Была одна рабочая "темка", о которой некоторые знакомые просили не сливать инфу в паблик, чтобы не убили быстро.

Суть была простой: в Google Image отлично ранжировались сгенеренные AI-картинки на основе конкретных известных персон, особенно всё, что связано с адалтом. Можно было генерировать фотки для топовых онлифанщиц и порнозвезд, и это имело эффект, фотографии ранжировались высоко в топе.

Почему это работало? Алгоритмы Google Картинок оказались тупо не готовы к такому качественному AI-контенту. Генерации были высокого разрешения, чёткие, и Гугл с радостью их закидывал в топ. К тому же, из-за новизны и эффекта "зловещей долины" пользователи сами активно кликали на такие изображения. Почти весь топ по жирным adult-запросам вроде "bbw porn pics" или "teen porn pics" был забит AI-фотками. Трафика было море.

Но, похоже, лавочку прикрыл сам Google.

За последнее время даже по самым обычным запросам типа "three guys on couch" из топа исчезла всякая генерёнка, хотя ещё недавно там было полно откровенной дичи.

Скорее всего, это связано с регуляциями, которые вводят государства из-за дипфейков и прочих прелестей AI. Вероятно, в Google оценили риски и решили, что проще всё это вычистить, чем потом таскаться по судам.

Даже "жирные" запросы, где люди целенаправленно ищут сгенерированный контент, вроде "ai porn", перестали показывать откровенные фото в топе выдачи. А в видео-выдаче — сначала общие сайты и куча роликов о том, как всё это теперь хотят зарегулировать.

Похоже, после объявленной войны AI-текстам, Google вышел на тропу войны и с AI-медиаконтентом.

Несколько лет назад, когда я плотно занимался дорвеями, пик трафика стабильно приходился на периоды Core Update.

Смотрю выдачу, и ничего не меняется. Вот и сейчас, по некоторым запросам случаются дни, когда чьи-то доры оккупируют больше половины SERP'а. :D

Конечно, после завершения апдейтов нередко вылетала значительная часть сетки, но это уже нюансы..нюансы...

OSINT-разведка конкурентов через Certificate Transparency

Хотел поделиться рабочей "темкой" для исследования инфраструктуры конкурентов. Метод простой, но мало кто знает.

Суть метода
Certificate Transparency — публичная база всех SSL-сертификатов. Компании не могут скрыть домены, для которых получают сертификаты.

Команда:

curl -s "https://crt.sh/?q=example.com&output=json" | jq -r '.[].common_name' | sort -u

Что найдёте
За пару секунд получите все поддомены конкурента:
- Скрытые API и тестовые среды
- Блоги и контентные разделы
- CDN домены
- Мобильные версии
- Региональные сайты

Почему это работает
CT-логи содержат даже "секретные" домены. Большинство компаний даже не подозревают, что их инфраструктура светится в открытых источниках.

Реальный пример c известным сайтом каталогом слотов
Взял вами любимую нишу и получил множество доменов, а какие-то даже доступны во вне:

Публичные сервисы: 12 доменов
DevOps/CI-CD: 15 доменов
Мониторинг: 8 доменов
Данные/ETL: 20 доменов
Тестирование: 12 доменов
Игровые сервисы: 5 доменов
Облачные: 6 доменов
Служебные: остальные

Всего несколько десятков поддоменов, по названию которых можно догадаться об их предназначении.

Ребятам порекомендовал бы большинство поддоменов сделать доступными только под VPN, а то местами Grafana светится и т.д. :)

LLM-ки говорят, что для этичности нужно компании обезличивать. Обезличил как мог!

JSON для промптинга

На днях мне скинули тред в твиттере, который привлек мое внимание. Основная идея треда: перестаньте "просить" ИИ, начните "указывать" ему, что делать, используя JSON-структуру. Это как дать строителю чертёж вместо абстрактных пожеланий.

Ключевые тезисы:

JSON — это язык структуры. Он заставляет вас и модель мыслить чётко. Вы заранее определяете цель, структуру, аудиторию и формат. Меньше итераций, точнее результат.

Точность > Креативность. JSON идеален для задач, где нужна структура (статьи, код, стратегии), а не для творческого хаоса (генерация идей, сторителлинг).

Промпт-чейнинг. JSON упрощает создание цепочек задач, где результат одного шага становится входными данными для следующего. ИИ воспринимает это как последовательность API-вызовов.

Я и сам попробовал применить, создав промпт для генерации title'ов для adult ниши.

{
"role": "SEO Specialist and Copywriter, expert in the adult content niche.",
"task": "Generate a relevant, attention-grabbing, and SEO-optimized title for a webpage based on provided keywords.",
"instructions": {
"goal": "Create a title that is as clickable as possible in Search Engine Results Pages (SERP) and aligns with user intent.",
"language": "english",
"tone": [
"direct",
"arousing",
"intriguing"
],
"output_format": "Provide a single title as a string."
},
"rules": {
"length": "The title should be up to 100 characters long, including spaces.",
"keyword_placement": "Input keywords are provided in descending order of frequency. The primary and highest-frequency keyword should be placed as close to the beginning of the title as possible, with others following. Maintain the logical word order of the language.",
"content_uniqueness": "The title must be unique, attention-grabbing, and not merely a list of keywords, but it should contain as many keywords from the input data as possible.",
"punctuation": "Use minimal punctuation, only when necessary for grammar. Avoid special characters, except hyphens (-) for separation."
},
"input_keywords": [
"milf porn",
"milf sex",
"milf videos",
"milf xxx",
"milf video",
"milf tube",
"xxx milf",
"free milf porn",
"mom porn",
"free mom porn"
]
}

Результат: "MILF Porn & Sex: Free MILF Videos & XXX Tube"

Причем я смог обойти этим способом Adult фильтр, который в последнее время часто стал попадаться мне в Gemini.

Другие варианты использования также впечатлили! Теперь для четких понятных задач буду использовать промпты в виде JSON, и, вероятно, любой другой структурированный формат вроде XML тоже окажется хорош.

AI-стартапы открыли для себя Google Dorking. OpenAI в панике прикрывает лавочку.

Вчера по сети разлетелась новость: в индекс Google утекла масса переписок из ChatGPT. Оказалось, что публичные ссылки на диалоги, которыми делились пользователи, отлично индексировались поисковиком. В итоге по простому запросу site:chatgpt.com/share можно было найти чужие резюме (и легко сдеанонить их авторов), странные вопросы с форумов для инцелов и просто забавные диалоги с нейросетью.

Сначала OpenAI выкатили стандартный комментарий в духе "это не баг, а фича". Мол, это был такой эксперимент, и пользователи сами давали согласие на индексацию. Но, видимо, масштаб проблемы и медийный шум оказались слишком велики.

Буквально через несколько часов после первых публикаций OpenAI резко переобулись и полностью прикрыли эту функцию. Официальная причина: эксперимент "создал слишком много возможностей для случайного шеринга того, чем люди делиться не собирались". Проще говоря, они поняли, что натворили, и потушили пожар.

Но для тех, кто в теме, в этом нет ничего удивительного. Мы уже давно замечали, что молодые AI-сервисы относятся к данным пользователей, мягко говоря, наплевательски.

Классический пример — Genspark. Ещё в начале июня по простому дорку site:https://www.genspark.ai/autopilotagent_viewer можно было найти больше сотни страниц чувствительных данных. Сейчас там, конечно, всё вычистили. Но сколько ещё таких дыр существует, о которых пока неизвестно публично?

Похоже, AI-стартапы с большим опозданием открыли для себя гуглдоркинг. Теперь, видимо, будут в панике прикрывать все лавочки, пока пользователи не наткнулись на что-то совсем уж компрометирующее. А мы просто будем наблюдать за этой суетой.

Google спешит оправдаться

Google выкатил официальный пост, чтобы сыграть на опережение и успокоить издателей, которые уже начали считать убытки от AI Overviews.

Суть послания от главы Google Поиска сводится к простому:

- Трафик в целом не упал, расслабьтесь.

- Кликов стало меньше, зато они теперь "качественные"!

- Люди сами виноваты: им теперь подавай не статьи, а форумы, видео, подкасты и что бы это ни значило "аутентичные голоса".

Переводим с корпоративного: это превентивный удар, чтобы сбить волну негатива. Тезис про "качественные клики" — отдельный шедевр. По сути, Google говорит: мы заберем у вас 9 из 10 посетителей, но тот десятый, который все же до вас дойдет, будет очень мотивирован. Спасибо за щедрость!

Забавно, что фича, которая пересказывает контент сайтов, чтобы на них не заходили, подается как благо для этих же сайтов.

Сначала обучили свои нейросети на контенте партнеров, а теперь эти партнеры превратились в кормовую базу. Продолжаем хоронить веб-поиск под аккомпанемент успокоительных пресс-релизов.

Конкурентный анализ через сканирование TLS

Существует неочевидный способ аудита своего окружения в SEO для выявления сеток сайтов. Суть метода в том, чтобы анализировать не публичную часть веба, а напрямую запрашивать у серверов их "паспорт" — SSL/TLS-сертификат. В этом документе всегда указан домен, для которого он выдан, что позволяет узнать, какой сайт "прописан" на конкретном IP-адресе.

Главная сила этого подхода — в масштабировании: можно автоматически просканировать сотни IP-адресов подряд, составляя карту целого серверного "квартала". Для этой задачи используется простая консольная утилита RealiTLScanner, которая как раз и создана для того, чтобы подключаться к IP и считывать доменное имя из его SSL-сертификата.

Схема такая:

1. Определение отправной точки. Покупается VPS на интересующем хостинге или просто находится IP одного из сайтов, который там хостится. Нужен лишь отправной адрес, например, 1.2.3.4.

2. Качаете сканер. Идёте на https://github.com/XTLS/RealiTLScanner/releases и забираете версию под свою систему.

3. Запускаете. Сканируете всю подсеть /24 (это 256 адресов). Если хотите сканировать побыстрее, то можете прописать число потоков (`-thread`), а для удобства последующего анализа, выгружаете результат в файл (`-out`). У утилиты есть и другие режимы работы, подробнее здесь.

На Windows (в `cmd` или `PowerShell`):

RealiTLScanner-windows-64.exe
 -addr 1.2.3.0/24 -thread 10 -out results.csv

На Apple Silicon MAC нужно скомпилировать код с GitHub, уточните, как это делать у ChatGPT.

На Linux:

./RealiTLScanner-linux-64 -addr 1.2.3.0/24 -thread 10 -out results.csv

Открыв файл results.csv, вы сможете проанализировать список доменов, о существовании которых вы возможно даже не догадывались: группы сайтов одной тематики, тестовые проекты или перспективные рыночные ниши.

Вы можете сказать, что все прячутся за проксированием Cloudflare, но на самом деле далеко не все, многие либо забывают, либо им выключают принудительно.

⚠️ Важное предупреждение об этичном использовании

Этот материал носит исключительно исследовательский и образовательный характер. Описанные методы следует применять только для анализа собственных ресурсов или для исследования общедоступных данных в рамках законодательства вашей страны. Помните, что агрессивное сканирование чужих серверов без разрешения нарушает условия обслуживания (ToS) большинства интернет-провайдеров и может привести к блокировке вашего IP-адреса. Автор не несет ответственности за неправомерное использование предоставленной информации.

Решение суда над Google

Наверное, вы уже слышали, что Google, по сути, избежал серьёзного наказания. Chrome и Android остаются при нём. Глава DuckDuckGo уже успел возмутиться в X.

Из главного: компании запретили заключать эксклюзивные сделки, как та, что была с Apple, и обязали делиться некоторыми данными.

Но самое интересное в другом: мы получили полный текст судебного решения, где раскрываются дополнительные детали о внутренней работе поиска.

Файл прикладываю к посту.

Можно прочитать самостоятельно, но я больше предпочитаю закинуть в NotebookLM.

Разрыв кабеля в Красном море

Новость запоздалая, поскольку на прошлой неделе я был в отпуске, но всё же важная.

Если вы заметили падение трафика и конверсии из Индии, Пакистана, Ближнего Востока и стран Африки, то виной вполне может быть не апдейт Гугла, а разрыв магистральных кабелей в Красном море. Предполагаемой причиной инцидента стал якорь коммерческого судна.

Хотя полного отключения интернета удалось избежать и провайдеры быстро перенаправили трафик, воздействие оказалось ощутимым. Возросло время отклика, замедлились сервисы, а сайты стали чаще недоступны для поисковых ботов, что снизило их краулинг. У многих пользователей страницы просто не загружаются.

СМИ говорят, что восстановление займет несколько недель, поскольку в мире всего несколько компаний, способных проводить такие работы.

Если ваши серверы стоят где-нибудь в Европе (а у большинства так и есть), а целевая аудитория — в той же Индии, то вы попали. Пинг, который и так был неидеальным, теперь мог улететь в космос. Cloudflare сглаживает углы, но и он не идеально справляется с ситуацией.

Посмотреть на карту разрывов и оценить масштабы можно здесь:
https://www.fiberatlantic.com/

Конец эпохи num=100 в Google: проблема или благо?

Вы, наверное, уже слышали, что Google прекратил поддержку параметра &num=100. Из-за этого многие трекеры позиций "сломались" или уже повышают цены. Теперь, чтобы получить ТОП-100, нужно парсить 10 страниц выдачи вместо одной.

Я спросил у владельца SpySERP, насколько критична эта проблема. Его ответ удивил: оказалось, они давно собирают данные постранично (10 страниц по 10 результатов). По их опыту, такой метод даёт выдачу, более приближенную к реальности, в отличие от старого параметра.

Так что, возможно, это даже к лучшему! Google сам подтолкнул индустрию к более точным данным.

P.S. Мне тут подумалось: ребятам из A-Parser (старший брат SpySERP) с их опытом пора выходить на рынок данных для сервисов вроде Ahrefs. Кажется, они могут предложить очень приятный ценник, ведь на парсинге они собаку съели.

Спам апдейт закончился,
а спам не закончился.