Директива noarchive сломалась?

Увидел в твиттере у @MikeBlazerX вопрос к Мюллеру про несработавший метатег robots с директивой noarchive.

Первая гипотеза была, что может быть краулер уже сохранил кэш страницы, поэтому пропала только ссылка на кэш.

Но затем я полез проверять свежие дорвеи в выдаче и да, по оператору cache: в Google доступно содержание страницы, хоть мета-тег и поставлен.

Технически все соблюдено, если смотреть по справке - ссылки нет! Но раньше у страниц архива не было. Что-то поменялось или это баг? Ждем ответа Мюллера!

UPD: На 26.08.22 Починили.

Данные по молодым адалт сайтам

Заметил, что в адалте депрессия и слезы после последних апдейтов, поэтому решил выложить один файлик. Исследовал в августе несколько сотен тысяч адалт-запросов из разных подниш и сделал тогда сырую выборку из чуть более сотни созданных в 2022-м сайтов. Сегодня пробил еще раз данные и получил те, что просели и те, что выросли. Можете для себя найти ниши/гео, в которых еще возможно сейчас что-то делать (есть интересные источники контента среди представленных доменов).

Интересный EMD

hookers-near-me.com - затесался в списке выше. Использует генеративный принцип для посадочных страниц по городам США и Канады. Ссылок по Ahrefs стоит немного (глубоко не копал), текстовый контент сделан из шаблонов, дополненных открытыми данными.

Самое главное, что он стоит в топ-1 по достаточно конкурентному запросу, который так же является названием домена.

Возможностей генерировать сайты много, главное проявить фантазию :)

Контент из твиттера

monsnode.com - продолжая разбор списка адалт-сайтов, хотелось бы отметить данный домен. Если заглянуть на главную, то сразу и не понятно в чём здесь цимес. Однако, давайте посмотрим эту страничку (осторожно, контент для взрослых):
https://monsnode.com/search.php?search=あみちハメ撮り流出, здесь представлены адалт-ролики из твиттера по запросу из поиска социальной сети.

В чем особенность твиттера? Эта соцсеть является одной из немногих, которую могут использовать для продвижения создатели nsfw-контента.

Адалт-контент в твиттере постоянно пополняется, создатели контента даже сами помечают нужными хэштегами.

Еще одна возможность для адалт-вебмастеров и не только. Главное не забывайте про DMCA! :)

Гибридная дорвейная схема adult + download

https://of-files.net
https://download-of.com
https://dirtyof.com
https://ofdown.net
https://ofpack.net

Продолжаем разбирать список доменов по адалту. Схема представляет собой гибрид адалта и даунлода, на посадочных страницах моделей стоит ссылка на партнерку с якобы сливом ее медиаматериалов с онлифанс. Для реализации собирают базу юзеров, парсят их онлифанс страницы, на основе контента странички реализуют по шаблону посадочную.

Схема недолгосрочная, масштабируемая, баны и фильтры ожидаемы (DMCA будут лететь и выпилы по ним из SERP точно).

Генерация на GPT-3

Полезный пост на тему генерации нативных маркетинг-текстов через GPT-3. На самом деле это подходит для всех текстов, в посте очень хороший пример того, как нужно задавать исходные данные. Нет смысла пользоваться Jasper и прочими подобными сервисами, которые просто являются Prompt'ами к GPT-3. Насколько мне известно, никакими дообучениями они не занимаются сами, это делает команда OpenAI.

Чтиво на вечер: гайд по системам ранжирования Google

Google выпустил гайд по ranking systems. Почему Google так расщедрился? В скором времени примут закон DSA, поэтому не остается иного выбора. В гайде есть и про EMD, и про BERT, а также интересно, что многие системы уже относятся к Retired systems.

Рекомендую ознакомиться.
Лучше всего смотреть JSON файл, так как в нем имеются различные теги и связи с другими факторами ранжирования.
Этот документ очень важен, посколько позволяет понять паттерны выявления тех или иных признаков документа. В Google не может совсем всё быть по-другому, посколько информационный поиск ограничен пределами своей науки.
https://t.me/MikeBlazerX/1109

Ого, уже даже кто-то сделал на основе данных удобную табличку со всеми факторами яндекса. Можно применить фильтры, что гораздо удобнее.
https://docs.google.com/spreadsheets/d/17gMlLrYtJlrSUcqSs95bLw76XCrzJJ8YnOdc63JMhFo/edit#gid=671136320

Информация только для ознакомления!

Update: https://t.me/Lord_Alfred/101
Автор нашел коэффициенты одной из ранжирующих формул, кому-то может понадобиться.

Выделил для вас "текстовые факторы", то есть именно те, что используются/использовались для оценки выложенного контента под тегом TG_DOC_TEXT, судя по всему TG_DOC относится ко всему документу. Исключил deprecated.
Могу сделать вывод, что данные для оценки общепринятые в науке информационного поиска, поэтому можно предположить, что в Google, Bing должны быть похожие критерии оценки, так как сходятся с теми, что находятся в исследовательских работах сотрудников компаний.
https://docs.google.com/document/d/1zr-qMpNggckOpJCqnvteS01dGcpgU7atDaNQgaPdfoo/edit?usp=sharing

Про факторы ранжирования

Более правильный термин – feature, который используют в англоязычной Machine Learning среде, а фактор – это синоним, но учеными используется редко. Есть целая задача в науке, которая называется feature engineering.

В зависимости от задачи используются различные feature, если мы говорим про поиск по документам, то задача называется Learning to rank. Для удобства пара «запрос-документ» представляется численными векторами, которые называют feature vectors.

Традиционно делятся на 3 группы:

1. Query-independent или static features – те, что относятся к документу, но не запросу, например, длина документа, Pagerank между документами и т.д. Такие данные можно посчитать заранее, а также использовать для подсчета общего static quality score, что значительно ускоряет ответы на запросы.

2. Query-dependent или dynamic features – те, что относятся и к документу и к запросу, классическим примером является TF-IDF.

3. Query-level features или query features – те, что относятся только к запросу, например, число слов в нём.

Где еще можно получить примеры feature или факторов, помимо слитого списка Яндекса?

Например, из PDF-ки к известному среди специалистов по информационному поиску датасету LETOR (46 шт):
https://arxiv.org/pdf/1306.2597v1.pdf

Также список есть в датасете MSLR (136 шт):
https://www.microsoft.com/en-us/research/project/mslr/

Я при изучении тех или иных документов, связанных с конкретной задачей, всегда обращаю внимание на списки feature, чтобы понимать на какие признаки обращают внимание специалисты в конкретной области. Например, в данной работе авторы используют определенные признаки для детекта веб-спама, тех самых дорвеев. Изучив максимум документов по теме, можно иметь представление о том, как работает анти-спам и у Google.

Видео на тему работы с ChatGPT, как промпты для GPT-3 также подходит. Очень рекомендую использовать как помощь в написании шаблонов генерации меты для доров! На видео это показано. Также очень удобно делать шаблоны генерации и многое другое на этапе перед заливом дорвеев.
https://t.me/sneex_seo/67

Палевная темка на cloudflare сквоттерах. DoberOK’а знаю, как классного практика, видел не раз его дорвеи в выдаче — рекомендую! Сам пробовал сквоттерский трафик лить в году 2020м, но потом пожалел дорвейного собрата :)

Как улучшить парсинг сниппетов?

Многие продолжают парсить сниппеты для генерации дорвеев и винить их в устаревших методиках не стоит, поскольку до сих пор дорвеи на сниппетах прилично собирают трафик.

Есть способ как собирать сниппеты эффективнее, особенно под информационный интент. Нужно к каждому запросу добавлять оператор define:. Например, define:essay on celluar immunity.

Оператор define: работает в Google и Bing, позволяя добавить чуть больше информации по запросу в сниппеты, как минимум в первые две страницы выдачи. Эффективнее всего работает для английского языка, хуже на других языках, на некоторых будто вообще не работает.

На скрине представлено сравнение bolded words или подсветки для Google и Bing, которое наглядно показывает разницу в выдаче с отсутсвующим оператором define: и при использовании оператора.

Баг со склейкой редиректов в Google

Многие видели пост Lily Ray о баге тайтлов в Google, но я не видел, чтобы кто-то обратил внимание на то, что используется достаточно давний баг Google, когда при 302-м редиректе, донор начинает ранжироваться с контентом акцептора при имеющихся внешних ссылочных сигналах и некоторых манипуляциях на акцепторе. Работает через раз, поэтому нужно много доноров.
Особенно массово такие сайты появляются после кривых core-апдейтов у Google, собственно, и другие темы частенько начинают снова работать. А пока горячо, умельцы срывают куш, паразитируя на тысячах сайтов, которые позволяют вставить ссылку в редиректный url!

А почему Untitled? Скорее всего из-за того, что в контенте акцептора нет ни <title>, ни заголовка. Иногда в заголовках выдачи Google проскакивают анкоры ссылок, которые массово ставят с других дорвеев на редиректы, но и это тоже давний баг (или фича?).

Бонусом: haiku rancho solano - запрос по которому можно найти и проанализировать различные доры в выдаче Google.

Пинг sitemap’а RIP

…но не сразу. Через 6 месяцев отключат.

Заабузили его лишнего, говорят, что используют только спамеры. Значит работает…:)

Дальше останется только строка в robots.txt и залив в search console.

Также установка новой даты в lastmod без значимого изменения на странице видимо приведет к ухудшению краулинга.

Напомнили, что не используют changefreq и priority.

https://developers.google.com/search/blog/2023/06/sitemaps-lastmod-ping

Тема для education дорвеев

Есть такой сайт Brainly, где постоянно задают свежие вопросы по учебе. Примеры: https://brainly.com/all-questions

Также у него есть домены на других языках, где тоже постоянно задают вопросы, хоть и в меньшем количестве, чем на основном. Суть в том, чтобы спарсить некоторое количество имеющихся ответов, выложить и постоянно парсить и выкладывать новые вопрос-ответы.

При беглом поиске один похожий старый дорвей нашелся в Google: https://brainsanswers.com/

Пик его пришелся на 2019-й, после чего словил бан, но потом еще раз на 2022-й и до сих пор несет трафик. Кстати, это хороший пример того, что не стоит сносить "дорвеи для людей". Они могут словить спам-фильтр, но его ставят на 2-3 года, а после снятия могут нести стабильный траф, особенно, если сайт постоянно обновляется.

Лайфхак: Сейчас Brainly закрывает свои ответы, но продолжает их выдавать в JSON-LD, пример на скрине.

Также определенную релевантность придают похожие вопросы в блоках линковки.

Сливать такое можно на essay или какие-либо другие tutoring и homework help партнерки, варианты слива могут быть разными, нужно проводить a/b тесты для вашей темы, возможно менеджеры партнерок смогут помочь.

Programmatic на мета-поиске

Метапоисковая система (метапоисковая машина) — поисковая система, которая в отличие от классических поисковых машин не имеет собственной базы данных и собственного поискового индекса, а формирует поисковую выдачу за счёт смешивания и переранжирования результатов поиска других поисковых систем.

srtfiles.com - сайт, который заточен под поиск субтитров через Programmable Search Engine от Google. Создан в 2020-м на дроп-домене, с тех пор получил много ссылок, но я бы не сказал, что они качественные :)

В Google сайт ищется по запросам фильм + субтитры, затем пользователь должен посредством интерфейса осуществить поиск в custom search, который заточен на поиск только по определенным сайтам с субтитрами. Сами фильмы и сериалы скорее всего получены с дампа базы IMDB.

Подобные сайты делал раньше я сам, отдавая юзеру результаты по определенным видам файлов через API-запрос к A-Parser'у, например, осуществляя поиск по PDF в нескольких поисковых системах.

Поскольку Google стал пристальнее следить за рядом ниш, то там, где всё заполнено дорвеями, я бы такой programmatic-проект делать сейчас не стал, однако, мета-поисковики никуда не делись и еще существуют ниши, где можно их запустить.

Критика поста Dejan'а

В нескольких чатиках 2 дня уже обсуждаем этот пост https://twitter.com/dejanseo/status/1684216376704081921, где Dejan предложил методику автоматической линковки. Пост довольно сложно написан, поэтому вот перевод на более-менее человеческий:

1. Каждый документ преобразуется в векторное пространство через SBERT, являющийся адаптацией BERT, где в векторное пространство преобразуются не слова, а целые предложения.

2. Затем находится семантическая близость между документами, которая позволяет подобрать наиболее близкие между собой странички.

3. На этом этапе мы разбиваем документ, с которого ставим ссылку на предложения и сравниваем каждое предложение по семантической близости с документом, на который собираемся ставить ссылку.

4. Далее мы уже предложение разбиваем на слова, каждое из которых сравниваем семантически со всем документом, на который собираемся поставить ссылку, чтобы подобрать близкие к документу слова из выбранного предложения.

Таким образом, мы получаем, что предлагаются кандидаты в анкоры в виде слов, а не фраз, что не очень то подходит для автоматизации. Я считаю, что достаточно найти ближайшие семантически документы, а дальше, если у страницы не определены фразы, по которым ее хотим продвигать, можно ручным способом подобрать нужный нам анкор, поскольку нас интересует продвижение по определенным кейвордам, а не словам.

Патент ранжирования UGC

Пришлось мне немного углубиться в ранжирование UGC (user-generated content) и я вспомнил, что у Google есть патент https://patents.google.com/patent/US8965883B2/en, который считали, что связан с Google+, но сейчас он является активным и продлили его аж до 2030-го года, поэтому у меня есть предположение, что может использоваться для ранжирования UGC в поиске Youtube, поскольку патент предполагает вариант использования на видео-шеринг платформах, а также часть патента может использоваться в самом поиске Google.

1. Идентифицируются взаимодействия между пользователями. Этими взаимодействиями могут быть комментарии в блог посте, ответ на вопрос на Q&A сайте, ответы на пост на форуме. Каждое взаимодействие предполагает, как минимум двух юзеров: кто задает исходный контент и кто на него отвечает.

2. Присваиваются веса. Каждому взаимодействию присваивается вес, который считают на основе факторов качества, которыми могут быть: релевантность элемента контента одного юзера предшествующему элементу контента другого юзера; оригинальность элемента контента по отношению другим элементам; использование нетипичных терминов; richness и timeliness контента (спросите ChatGPT подробнее про эти два термина).

3. Создается граф активности пользователей. Система создает граф активности пользователей, который определяет связи между ними на основе их взаимодействия. Этот граф помогает определить "оценку авторитетности" и "оценку вклада" для каждого пользователя. Авторитет пользователя определяется на основе оценки вклада пользователей, с которыми он взаимодействует, и наоборот. Этот процесс носит итерационный характер и продолжается до тех пор, пока не будет достигнут заданный порог, после чего присваивается оценка учетным данным юзера.

4. Присваиваются оценки учетным данным юзера. На основе весов присвоенных каждому взаимодействию генерируется оценка каждому юзеру. Эта оценка является показателем достоверности и качества их вклада в сайт. Эта оценка хранится вместе с юзерским идентификатором.

В итоге: при поиске контент от юзеров с большей оценкой может ранжироваться выше в результатах поиска. Также в патенте предполагается использование для персонализированной выдачи, если юзер часто взаимодействует с контентом другого юзера, то его контент может появляться чаще, чем контент других юзеров.

Как видим, какая-то часть этого патента действительно может использоваться в поиске Google, поэтому можно взять на вооружение хотя бы 2-й пункт и четко следить за тем, что пишете по теме на экспертных платформах.