Ускоренная индексация в Google / Ч. 2

В предыдущей серии: я рекомендовал вам сервис в виде телеграм-бота, который на ура загоняет URL-ы в индекс Google-а. Однако стоимость индексации 1 млн урлов - $1800.

Платить $1800 за каждый миллион урлов нам конечно не очень выгодно. Учитывая, что есть потребность загонять 10+ млн урлов в месяц получается очень круглая и неприятная сумма.
Выход из положения - сделать своё решение.

На скринах некоторые этапы процесса - отбивки нашим ТГ-ботом статистики по определённому заданию, а также схема скрипта в ZennoPoster. По технической части. Кроме части с ZennoPoster (фарминг аккаунтов) есть ещё сервер + PHP скрипты.

Текущая мощность - 400 000 урлов в сутки гарантированно в индекс. Можно легко масштабировать.
Используем для себя и на продажу от миллиона урлов.

Куда вводится запрос пользователя — это архиважная история для новых медиа и GPT-чаты оказались подрывной технологией для всех проектов, чьи доходы базировались на том, что:

а) пользователь в принципе заходит на эти проекты чтобы задать вопрос
б) пользователь сам рассказывает о том, что именно ему нужно

Конечно, в первую очередь речь о Google и Яндексе. Не сказать, что для них проблема потери запросов является новинкой — схема их существования заключается в том, что поисковики готовы удовлетворять любопытство пользователя в какие-то моменты, а заработают они тогда, когда пользователь введёт "пластиковые окна, замена срочно"

И если по большому количеству запросов мало кто мешает поисковикам зарабатывать, то вот там, где запросы только коммерческие, злые люди, которые хотят отобрать у Яндекса и Гугла деньги, делают свои собственные проекты.

Например:

— запрос связанный с поиском недвижимости уйдёт в ЦИАН или Авито.Недвижимость

— запрос связанный с покупкой автомобиля уйдёт на Auto.ru (и тут Яндекс не сильно против), на Drom.ru или опять же, Авито

Доля этих запросов в общем потоке к Яндексу невелика, но доход от них настолько значим, что Яндекс согласен вручную обзванивать продавцов по тем лотам, которые у него не представлены, лишь бы они залили объявление и на Авто.ру.

И здесь роль чатов становится крайне многозначной

1. Google со своим Search Generative Experience решил, что существенная часть ответа на запрос пользователя будет сообщаться ему в результатах поиска. То есть, переходов из результатов поиска будет явно меньше (правда, можно рассчитывать, что доля коммерческих из них — будет выше, а удовлетворяться ответом Google будут те, кто и не собирался совершать никаких покупок). Но это снижает возможности ретаргетинга. Вряд ли "Яндекс" откажется от того, чтобы пойти по тому же пути — SERP станет более информативным, а трафик из поиска — упадёт, это то что мы увидим в ближайшее время. Подозреваю, именно для объяснения этого факта и успокоения веб-мастеров в Яндексе и появляется такая сущность как "Амбассадор поиска". Когда крупная корпорация пытается построить с кем-то доверительный диалог — надо покрепче держать карманы, как обычно.

2. Можно отобрать долю коммерческих запросов у Авито, ЦИАНов, Дромов и вернуть пользователей в поиск "Яндекса". Если будут решены интерфейсные проблемы и то, каким образом будут представлены результаты. Мелким площадкам сложнее построить свои GPT-проекты, хотя и не невозможно.

3. Очень резко возрастает роль дистрибуции и всех тех мест, где пользователь куда-то что-то вводит

Любая поисковая строка и место куда пользователь что-то вводит становится местом перераспределения коммерческого трафика (поиск в операционной системе десктопа, поиск в операционной системе смартфона, поиск на сайтах-каталогах, поиск или ввод в мессенджерах)

Если в Microsoft, Apple и Google Android россиян ни разу не ждут, то вот в китайских телефонах и в Telegram — возможны варианты.

4. Становится понятна любовь к голосовым помощникам и вообще своим устройствам со стороны Сбера — это способ зайти на поисковую поляну, в том числе и коммерческих запросов, через новый неподеленный канал.

5. Снижение раздачи органического трафика - уронит доходы от медийной рекламы на тех площадках, где доля трафика из поисковика высока, и, в очередной раз, снизит роль медиа на рекламном рынке. Никто не берётся даже оценить насколько упадёт органический трафик — эксперты Adweek называют цифры от 20 до 60%

Результат всего этого движа очевиден и для многих неприятен — возможно снижение доходов проектов, которые вполне себя уютно чувствовали в коммерческих нишах (очевидные примеры перечислял выше), возможно появление новых игроков на рынке поиска (Сбер) где никто революций вообще не ждал, ну и, как обычно происходит при усложнении рынка — бедные немного обеднеют, богатые — разбогатеют.

17 октября был на конференции Optimization, с 15-00 до 21-00. Не успел посмотреть ни один доклад — всё время общался с старыми знакомыми. Optimization всё ещё то самое мероприятие, куда каждый год приходят лидеры SEO (спасибо организаторам!).

Помню несколько лет назад прочитал у кого то, что конференции это в первую очередь про общение и знакомство с интересными людьми.
Узнал много интересного, надеюсь и с каждым из вас поделился чем то полезным.

Всех очень рад был видеть!

(на фото Серёжа Вирясов :) )

Валера Бабушкин один из крутейших специалистов по ML, с кем довелось общаться и работать :)
Для тех кто не слышал про Валеру, настоятельно рекомендую интервью ниже. Интересно и полезно про собеседования ML-инженеров, построение и работу ML-команд, менеджмент и др.

https://www.youtube.com/watch?v=xunKFLh1TpU

проснитесь

Рынок беттинга в Америке продолжает расти, $140 млрд за 2024.

СЕОШНО-ИИШНОЕ

Просто ребята для своего SaaS AI-чат-бота быстрее других на-генерировали однотипных страниц сравнения разных версий LLM-моделей.

Открытие февраля - сервис саммаризации видео от Яндекс. Вроде знал что существует, но не думал что с его помощью так удобно "вытаскивать" основные тезисы из интервью и научно популярных видео.

На скриншоте пример саммаризации интервью Лекса Фридмана (они у него часто длятся 3+ часа) с инвестором Марком Андриссеном. В целом всё понятно, при желании можно пересмотреть нужный фрагмент.

ark invest выпустили свой ежегодный отчёт о технологических рынках - взгляд инвест фонда на их развитие

https://research.ark-invest.com/hubfs/1_Download_Files_ARK-Invest/Big_Ideas/ARK%20Invest%20Big%20Ideas%202025.pdf

Вещи которые как кажется SEO-шнику волнуют заказчика/клиента/руководителя:
— Частотность запросов
— Позиции
— Технический аудит
— Кластеризация
— Линк-билдинг
— Скорость сайта
— Разметка schema.org
— Сэкономленные деньги
— Красота презентации

Вещи которые его действительно волнуют в SEO:
— Сколько денег можно заработать
— Возврат инвестиций (ROI) от вложений

Типы интентов запросов в chatGPT
70% - используют как инструменты для написания кода/рерайта и тд.
Остальные 30% - схожи с поисковыми запросами к Google.

В целом коррелирует с отчётом Anthropic где они также делились интентами пользовательских запросов в свои инструменты.

Подписаться - @bortalks

Где то год назад я делал исследование - мне было интересно на чём зарабывает Яндекс в поиске. Ну т.е. сайты каких тематик дают больше всего денег именно в контексте. Спарсили все запросы, вычленили те где есть контекст и собрали по ним усреднённые ставки. И на последок прогнали все домены которые участвуют в контексте через тематический классификатор. Результат вы видите на картинке.
(если нужны абсолютные цифры особо любопытные могут умножить проценты на выручку поискового направления из отчётности Яндекса :) )

В топ-5 у нас вертикали:
- Ecom
- Услуги
- Финансы
- Развлечения
- Недвижимость

Как вы понимаете, менеджеры Яндекса отвечающие за бизнес видели эти цифры давно и с большЕй детализацией. Теперь давайте наложим это на то, какие вертикали вчера были представлены в виде Витрин в поиске (под витринами я понимаю выдачу с конечными офферами, а не "синими ссылками") - Ecom, Финансы и страхование, Недвижимость. Ну т.е. коллективный мозг Яндекса смотрит на эти вертикали как на те, от куда можно "выжать" ещё больше денег, и результат на вложенные усилия в ближайшей перспективе будет максимальный.

Про Развлечения и Услуги напишу отдельно. Как человек который создавал в Сравни такой технический сервис как "Конструктор Витрин" (от идеи до раскатки и развития), на котором работают сейчас все витрины внутри Сравни, мне в целом понятна логика, почему их пока что обошли стороной.
- В "Развлечениях" бОльшая доля трафика это онлайн кинотеатры. У которых монетизация растянута на несколько месяцев или лет через пользовательскую подписку. Наряду с форматом контента (каталог фильмов) это всё немного усложняет создание нормальной пользовательской витрины под поисковую выдачу. Ну т.е. деньги непонятно как брать с клиента, да и продуктово нужно много эксперементировать. Выгоднее оставить на кликах.
- "Услуги" же как вертикаль очень-очень недетерменирована. Если "Финансы и Страхование" можно представить в виде 6 витрин и 2 full-deal сервисов (аля "ОСАГО" и "Подбор Кредита", в которых пользователь может оформить услугу), то для "Услуг" это уже несколько сотен витрин. Опять продуктовые проблемы. Ну и деньги здесь нужно брать не с крупных клиентов, как в "Ecom", "Финансах" и "Недвижимости", а с большого количества мелких провайдеров услуг (Автосервисы, Ремонтники и т.д.) - выстроить (или перестроить) операционный процесс под продажу рекламы им гораздо сложнее, нежели продать 20 е-комам, 20 банкам и страховым.

Про логику обхода стороной "Развлечений" и "Услуг" всё.

Для чего я это всё пишу - чтобы вы лучше понимали вектор того, как будет изменяться жёлтый поисковик в ближайшее время и делать какие то выводы для себя. Я думаю на эксперименты и дотаскивание этих трёх вертикалей до нормального состояния уйдет примерно год, т.к. это не быстрый процесс (в апреле 2024 года до меня уже доходили "инсайды" с скриншотами из презентаций о выкатке Финансов в сентябре 2024 - но как мы видим выкатили их только в мае 2025). Ну а дальше — очередность на картинке выше. Предупреждён — значит вооружён.

@bortalks

Аналитики инвестиционного фонда Andreessen Horowith (инвестировали на ранних стадиях в Facebook, Instagram,GitHub и других) обратили своё внимание на рынок SEO и его возможную/вероятную трансформацию к GEO (Generative Engines Optimizations).

Помимо занимательной статистики и каких то базовых вещах о принципах оптимизации под LLM они размышляют о том где и как будут сосредоточенны маркетинговые бюджеты крупных компаний (рынок SEO в США оценивается в 80 млрд долларов). Если сейчас рынок SEO очень дефрагментирован и на нём нет явного лидера (тот же SemRush имеет выручку ~800 млн долларов в год от клиентов со всего мира / при рынке 80 млрд только в США), то при определённых обстоятельствах на рынке GEO есть большие шансы появления монополиста, который и будет помогать брендам пролазить в ответы всех возможных LLM-ок.

Если кратко, аналитики фонда считают что компании которые будут заниматься GEO смогут не только анализировать данные, но также влиять на обучение LLM-моделей за счёт их же глубокого анализа, анализа поведения пользователей (за счёт всё тех же clickstream-данных), а также размещения в интернете правильной и структурированной информации.

Интересные мысли, но как мне кажется очень сильно "на тоненького". Статья по-американски оптимистична и духо-подъёмна, но интересен сам вектор мысли, а также взгляд на тему SEO2GEO такого крупного фонда. Пока же всё выглядит как дикий, дикий Запад.

Продолжаем следить, @bortalks

SimilarWeb поделился данными о том, как пользователи США используют "AI Mode" в Google

В середине мая Google выкатил "Ai Mode" - опцию в поиске которая по сути суммаризирует результаты поисковой выдачи и выдает выжимку в виде текста (с помощью своих LLM-моделей, конечно же).

-- SimilarWeb изучил свои данные (преимущественно clickstream) по пользователям из США у которых уже показывается кнопка "AI Mode".
-- Смотрели только данные по десктопу (т.е. без мобильных устройств).
-- Период с 20 мая по 31 мая 2025 года.

Данные на картинке выше. Сейчас AI Mode пользуются чуть больше 1% пользователей.
Кол-во новых пользователей которые начинают использовать AI Mode растёт на 4% в день (это очень много для продукта). Если экстраполировать эти данные по ежедневному приросту, то к середине сентября 2025 все пользователи будут использовать "AI Mode" (теоретическая ситуация, однако хорошо показывает динамику изменений).

Для тех кто хочет попробовать, вот статья с подробными инструкциями для "включения Ai Mode" (немного техническая).

Подписаться - @bortalks

Пообщались с Димой в рамках «Пиксель Подкаста». Кажется получилось максимально содержательно — будет интересно как начинающим, так и опытным SEO специалистам. Директоры по маркетингу, владельцы бизнеса, продакты также смогут найти много интересного и полезного.

Полное видео:
YouTube - https://m.youtube.com/watch?v=J9XHK_61-Q4
VKVideo - https://m.vk.ru/video-141990443_456239547

Что обсудили:
— Особенности работы с ядрами в 10 млн запросов;
— Важные навыки SEO-специалистов;
— Опыт команды Сравни.ру в SEO (глазами head of SEO) на пути к выручке в 10 млрд рублей;
— Вектор движения Яндекс в коммерческих тематиках;
— Прогноз по доле Google в РФ;
— Особенности промптинга под задачи автоматизации;
.. и многое другое.

Если будут вопросы или другая обратная связь, я как всегда открыт — @sashaborm

На каких видео платформах сидят пользователи?

Выше скриншот из нашей закрытой системы, в которой мы мониторим блогеров. Конкретно на этом графике - данные по ~600 блогерам которые имеют аккаунты 6 платформах youtube, vk, tiktok, instagram, likee, yappy и регулярно публикуют контент на всех этих площадках.

Как видно запрещённые, "замедленные" и заблокированные соц сети всё ещё собирают большЕе число охватов. Посмотрим, что изменится после 1 сентября.

@bortalks