Автоматически генерируемые сайты для e-commerce affiliate (Amazon, Aliexpress и т.д.) Часть 2.
Классический дорвейный подход "копипарсинга". Собирает не так много трафика, подходит больше для нч, но если масштабировать на множество дропов, то уже будет поинтереснее. Главное, что схему можно полностью автоматизировать.
1. В поиске e-commerce проекта получаем топ товаров по ключу и берем, например, первые 10-20.
2. Переходим по каждому из товаров, где собираем названия, картинки (можно дополнительно спарсить с поисковых систем), описания карточек, цену, отзывы и т.д., примените фантазию откуда еще получить данные по товару.
3. Все собранные товары, включая информацию о них публикуем на одной страничке.
Пример есть на скриншоте, сайт из примера: https://smartwebshopper.com. Конечно, нужно сделать нормальную структуру, перелинковку. Слив можно осуществлять как по кнопке, так и редиректом на тот же поиск по ключу на e-commerce сайте (причем парсить можно с amazon, например, а редиректить на aliexpress).
Также, я рекомендую на данный момент использовать общепризнанную в дорвейной среде схему с кучей поддоменов, если не добавляете никакой ценности, им пока меньше грозят санкции за контент, хотя и трафика меньше получается.
Классический дорвейный подход "копипарсинга". Собирает не так много трафика, подходит больше для нч, но если масштабировать на множество дропов, то уже будет поинтереснее. Главное, что схему можно полностью автоматизировать.
1. В поиске e-commerce проекта получаем топ товаров по ключу и берем, например, первые 10-20.
2. Переходим по каждому из товаров, где собираем названия, картинки (можно дополнительно спарсить с поисковых систем), описания карточек, цену, отзывы и т.д., примените фантазию откуда еще получить данные по товару.
3. Все собранные товары, включая информацию о них публикуем на одной страничке.
Пример есть на скриншоте, сайт из примера: https://smartwebshopper.com. Конечно, нужно сделать нормальную структуру, перелинковку. Слив можно осуществлять как по кнопке, так и редиректом на тот же поиск по ключу на e-commerce сайте (причем парсить можно с amazon, например, а редиректить на aliexpress).
Также, я рекомендую на данный момент использовать общепризнанную в дорвейной среде схему с кучей поддоменов, если не добавляете никакой ценности, им пока меньше грозят санкции за контент, хотя и трафика меньше получается.
Telegraph
Amazon doorway screenshot
Трафик на лучшей структуре
На днях коллега из диджитала скинул мне дискуссию на Hacker News, где люди обсуждают деградацию выдачи.
Зоркий глаз зацепился за тезисы об отсутствии в индексе некоторых репозиториев, сложности поиска технических запросов.
Github действительно частично зафильтрован Google'ом, так как там частенько загружают дорвеи и прочий мусор. Но дело не только в этом.
Очень часто подобные "тяжелые" проекты имеют ужасную структуру, которая сильно затрудняет жизнь поисковым роботам...что в свою очередь является возможностью для нас :)
Есть уже несколько сайтов, которые суть копируют Github, выбрал наиболее свеженький:
opensourcelibs.com
Сайт имеет хорошую структуру, которую любят краулеры, а в остальном копирует и удобно представляет информацию с Github'а (скорее всего по api получают).
А Github такой громоздкий не один...
На днях коллега из диджитала скинул мне дискуссию на Hacker News, где люди обсуждают деградацию выдачи.
Зоркий глаз зацепился за тезисы об отсутствии в индексе некоторых репозиториев, сложности поиска технических запросов.
Github действительно частично зафильтрован Google'ом, так как там частенько загружают дорвеи и прочий мусор. Но дело не только в этом.
Очень часто подобные "тяжелые" проекты имеют ужасную структуру, которая сильно затрудняет жизнь поисковым роботам...что в свою очередь является возможностью для нас :)
Есть уже несколько сайтов, которые суть копируют Github, выбрал наиболее свеженький:
opensourcelibs.com
Сайт имеет хорошую структуру, которую любят краулеры, а в остальном копирует и удобно представляет информацию с Github'а (скорее всего по api получают).
А Github такой громоздкий не один...
linkfarm.php
776 B
Код линковки
Решил выложить небольшой скрипт линк-ротатора, который использовал для индексации страниц, которые плохо заходили в индекс. Располагал на своих купленных expired domain сайтах-дорвеях , которые не зашли по трафику, но ботов все же привлекали.
Принцип похож на тот, что используют злоумышленники на взломанных сайтах, но я адаптировал под использование на своих. Каждый раз при загрузке страницы выбирается указанное количество ссылок и выводится на странице. Результат не сохраняется, каждый раз ссылки будут выбираться случайно из списка.
Вставьте строчку в код там, где нужно выводить ссылки, например сразу после <h1>, заменив путь к файлу скрипта на свой. Все настройки скрипта описаны в комментариях кода.
P.S. Еще одно видео на тему темной стороны SEO вышло у Олега на канале, где гостем является автор одного из кейсов, представленных у меня на канале: https://www.youtube.com/watch?v=6r0TWc2uldw
Решил выложить небольшой скрипт линк-ротатора, который использовал для индексации страниц, которые плохо заходили в индекс. Располагал на своих купленных expired domain сайтах-дорвеях , которые не зашли по трафику, но ботов все же привлекали.
Принцип похож на тот, что используют злоумышленники на взломанных сайтах, но я адаптировал под использование на своих. Каждый раз при загрузке страницы выбирается указанное количество ссылок и выводится на странице. Результат не сохраняется, каждый раз ссылки будут выбираться случайно из списка.
<?php include_once('/var/www/html/linkfarm/linkfarm.php'); ?> Вставьте строчку в код там, где нужно выводить ссылки, например сразу после <h1>, заменив путь к файлу скрипта на свой. Все настройки скрипта описаны в комментариях кода.
P.S. Еще одно видео на тему темной стороны SEO вышло у Олега на канале, где гостем является автор одного из кейсов, представленных у меня на канале: https://www.youtube.com/watch?v=6r0TWc2uldw
Инфраструктура Godaddy скомпрометирована
В самом конце 2021-го вышла статья, где специалист обнаружил множество фарма-дорвеев, залитых злоумышленниками на большое количество сайтов, включая сайты правительства США.
Проведя свое исследования, специалист пришел к выводу, что скомпрометированы сервисы GoDaddy’s Managed Hosting Provider. Также специалист заявляет, что потенциально уязвимы больше миллиона сайтов.
Все подробности в статье по ссылке.
В самом конце 2021-го вышла статья, где специалист обнаружил множество фарма-дорвеев, залитых злоумышленниками на большое количество сайтов, включая сайты правительства США.
Проведя свое исследования, специалист пришел к выводу, что скомпрометированы сервисы GoDaddy’s Managed Hosting Provider. Также специалист заявляет, что потенциально уязвимы больше миллиона сайтов.
Все подробности в статье по ссылке.
Victory Medium
Compromised Godaddy Infrastructure Attacking Numerous U.S. Government Websites to Promote “Canadian Pharmacy” Scam Websites - Victory…
If you’ve come here to read a clean description of a deeply technical data supply chain problem, impacting untold numbers of websites across the globe, including dozens if not hundreds of U.S. Government domains, and hoping to see all the answers about how…
Очередной дорвей рекордсмен
crb-kolomna.ru - ру-сайт в медицинской тематике на expired домене, по similarweb в декабре было 2,5 млн. посетителей, а показатели по Ahrefs можете увидеть на скриншоте.
Контент - копипаст, который подтянут из множества источников, по сути, это несколько статей одной темы объединенных в одну большую. Учитывая, что на множество страниц попадает мусор, парсят автоматически, возможно, программой x-parser, в которой есть возможность собирать статьи по запросу и сразу компоновать из них новую в разных комбинациях.
Подклеен домен или нет, я пока не искал (скорее всего да), но текущий когда-то являлся сайтом больницы, возможно отсюда высокий траст, своим контентом сайт сильно обгоняет оригинальные сайты и по множеству запросов попадает в featured snippet.
P.S. Новых тестов пока не делал, уже больше недели болею омикроном - не до работы :)
crb-kolomna.ru - ру-сайт в медицинской тематике на expired домене, по similarweb в декабре было 2,5 млн. посетителей, а показатели по Ahrefs можете увидеть на скриншоте.
Контент - копипаст, который подтянут из множества источников, по сути, это несколько статей одной темы объединенных в одну большую. Учитывая, что на множество страниц попадает мусор, парсят автоматически, возможно, программой x-parser, в которой есть возможность собирать статьи по запросу и сразу компоновать из них новую в разных комбинациях.
Подклеен домен или нет, я пока не искал (скорее всего да), но текущий когда-то являлся сайтом больницы, возможно отсюда высокий траст, своим контентом сайт сильно обгоняет оригинальные сайты и по множеству запросов попадает в featured snippet.
P.S. Новых тестов пока не делал, уже больше недели болею омикроном - не до работы :)
Быстрый find и многострочный sed
Если вы так же как я любите делать сайты на linux серверах, используя статичные файлы, то может возникнуть ситуация, когда вам нужно произвести замену не одной, а многих строк в файлах сайта. Нет смысла городить костыли с sed, можно использовать one-liner на perl.
Также я хочу поделиться заменой команды find:
https://github.com/sharkdp/fd
Эта программа написана на rust и она в несколько раз быстрее, чем стандартный find. Инструкции по установке там же.
Конечный пример команды, которая объединяет perl и fd выглядит так:
Будут найдены все html файлы, по пути /var/www/html/domain.com и для каждого в параллельном режиме будет произведена многострочная обработка через perl.
P.S. Мне подвернулось предложение, отказаться от которого было бы biggest mistake, поэтому я, спустя 5 лет работы на себя и отбивания от рекрутеров, снова работаю в компании. Контент все еще будет, тесты делаются, но пока я только вовлекаюсь в работу, поэтому времени на канал немного :)
Если вы так же как я любите делать сайты на linux серверах, используя статичные файлы, то может возникнуть ситуация, когда вам нужно произвести замену не одной, а многих строк в файлах сайта. Нет смысла городить костыли с sed, можно использовать one-liner на perl.
perl -i -0pe 's/регулярное выражение охватывающее многие строки/smg' file_to_changeТакже я хочу поделиться заменой команды find:
https://github.com/sharkdp/fd
Эта программа написана на rust и она в несколько раз быстрее, чем стандартный find. Инструкции по установке там же.
Конечный пример команды, которая объединяет perl и fd выглядит так:
fd -t f '.*\.html' /var/www/html/domain.com -x perl -i -0pe 's/регулярное выражение охватывающее многие строки/smg' {} \;Будут найдены все html файлы, по пути /var/www/html/domain.com и для каждого в параллельном режиме будет произведена многострочная обработка через perl.
P.S. Мне подвернулось предложение, отказаться от которого было бы biggest mistake, поэтому я, спустя 5 лет работы на себя и отбивания от рекрутеров, снова работаю в компании. Контент все еще будет, тесты делаются, но пока я только вовлекаюсь в работу, поэтому времени на канал немного :)
GitHub
GitHub - sharkdp/fd: A simple, fast and user-friendly alternative to 'find'
A simple, fast and user-friendly alternative to 'find' - sharkdp/fd
Пример ДДЛ
snappea.me - по сути, это "дорвей для людей", построенный на принципе скачивания, воспроизведения роликов youtube. Spintaх текст, интент юзера решается. Если добавлять совсем свежие треки, на которые еще не так много посадочных страниц в интернете, тогда ценность вашего сайта для Google возрастает.
https://snappea.me/en/download/isabel-larosa-haunted
"Звук" из Tiktok'а, который сейчас набирает популярность в западном сегменте. Исполнитель выложил только "snippet" трека, полноценного трека нет, но люди уже ищут, где скачать. Страничка с этого сайта находится сразу после ютуб-видео по запросу "isabel larosa haunted" :)
snappea.me - по сути, это "дорвей для людей", построенный на принципе скачивания, воспроизведения роликов youtube. Spintaх текст, интент юзера решается. Если добавлять совсем свежие треки, на которые еще не так много посадочных страниц в интернете, тогда ценность вашего сайта для Google возрастает.
https://snappea.me/en/download/isabel-larosa-haunted
"Звук" из Tiktok'а, который сейчас набирает популярность в западном сегменте. Исполнитель выложил только "snippet" трека, полноценного трека нет, но люди уже ищут, где скачать. Страничка с этого сайта находится сразу после ютуб-видео по запросу "isabel larosa haunted" :)
Полезная информация для дорвейщиков, особенно в download нише. https://t.me/MikeBlazerX/58
Telegram
Mike Blazer
На основе материалов, представленных в Бюро по авторским правам США:
Google усложнил алгоритм Pirate, чтобы сайты-нарушители не могли избежать понижения в поиске путем перенаправления на новый домен, пишет Glenn Gabe.
Когда сайт понижается в выдаче, трафик…
Google усложнил алгоритм Pirate, чтобы сайты-нарушители не могли избежать понижения в поиске путем перенаправления на новый домен, пишет Glenn Gabe.
Когда сайт понижается в выдаче, трафик…
Дорвеи на сниппетах!
Делать дорвеи "по-старому" все еще возможно, не хватая санкции с ходу.
Дело в том, что систему веб-спам детекта, которая массово косит дорвеи, выкатили не на все языки. Однако, рано или поздно Google охватит всё, поэтому нет смысла скрывать эту тему, особенно когда у людей сейчас проблемы с деньгами.
В этих языках проще получать трафик, так как в них не внедрена последняя модель алгоритма ранжирования. Видимо на основе обученной модели работает и веб-спам детект последней версии.
В прошлом году я активно делал "устаревшие" дорвеи на японском языке, но в конце года Google выкатил обнову и туда, поэтому смысла делать их под Японию уже нет.
В этом году мои тесты по старой схеме давали хороший трафик из Индонезии, Камбоджи. Например, хостинг статических сайтов от Cloudflare (100 сабов на аккаунт) забит индонезийскими дорами, как и многие другие подобные сервисы.
Уверен, что рабочих языков еще достаточно. Тесты в них будут дешевле, чем разрабатывать новую схему.
Делать дорвеи "по-старому" все еще возможно, не хватая санкции с ходу.
Дело в том, что систему веб-спам детекта, которая массово косит дорвеи, выкатили не на все языки. Однако, рано или поздно Google охватит всё, поэтому нет смысла скрывать эту тему, особенно когда у людей сейчас проблемы с деньгами.
В этих языках проще получать трафик, так как в них не внедрена последняя модель алгоритма ранжирования. Видимо на основе обученной модели работает и веб-спам детект последней версии.
В прошлом году я активно делал "устаревшие" дорвеи на японском языке, но в конце года Google выкатил обнову и туда, поэтому смысла делать их под Японию уже нет.
В этом году мои тесты по старой схеме давали хороший трафик из Индонезии, Камбоджи. Например, хостинг статических сайтов от Cloudflare (100 сабов на аккаунт) забит индонезийскими дорами, как и многие другие подобные сервисы.
Уверен, что рабочих языков еще достаточно. Тесты в них будут дешевле, чем разрабатывать новую схему.
Wildcard proxy для всех от Cloudflare!
Сегодня Cloudflare выкатил возможность включить wildcard проксирование для всех тарифов. Раньше эта функция официально была доступна только для подписки Enterprise. Больше не нужно добавлять каждый субдомен по отдельности, что является отличной новостью для всех дорвейщиков ;)
https://blog.cloudflare.com/wildcard-proxy-for-everyone/
Сегодня Cloudflare выкатил возможность включить wildcard проксирование для всех тарифов. Раньше эта функция официально была доступна только для подписки Enterprise. Больше не нужно добавлять каждый субдомен по отдельности, что является отличной новостью для всех дорвейщиков ;)
https://blog.cloudflare.com/wildcard-proxy-for-everyone/
Cloudflare Blog
Wildcard proxy for everyone
Today we’re announcing the availability of proxied wildcard DNS records on all plan levels
Ebay удалил русскую версию сайта
https://ru.ebay.com недоступен, редирект делать не стали. У кого есть копия ebay на русском, тот может её быстренько поднять и собрать прилично трафика :)
https://ru.ebay.com недоступен, редирект делать не стали. У кого есть копия ebay на русском, тот может её быстренько поднять и собрать прилично трафика :)
Дорвей на датасете фамилий
familiya.website - дорвей, в основе которого датасет фамилий на кириллице.
Если посмотрите посадочные фамилий, то весь контент состоит из готовых шаблонов, в которых фамилия является макросом вставки.
По-сути, сайт отвечает на интент, пусть информация и не верифицируема. Не знаю насколько высока выживаемость данного сайта, но тем не менее он приносит достаточно много трафика, если судить по Similarweb, хоть и пиковые значения сейчас не достигаются, а Ahrefs показывает, что Google после апа стал его даже лучше ранжировать.
Считаю, что дорвеи должны быть именно такие, а не генеренка на сниппетах, как многие привыкли. :)
familiya.website - дорвей, в основе которого датасет фамилий на кириллице.
Если посмотрите посадочные фамилий, то весь контент состоит из готовых шаблонов, в которых фамилия является макросом вставки.
По-сути, сайт отвечает на интент, пусть информация и не верифицируема. Не знаю насколько высока выживаемость данного сайта, но тем не менее он приносит достаточно много трафика, если судить по Similarweb, хоть и пиковые значения сейчас не достигаются, а Ahrefs показывает, что Google после апа стал его даже лучше ранжировать.
Считаю, что дорвеи должны быть именно такие, а не генеренка на сниппетах, как многие привыкли. :)
Полезная информация для дорвейщиков, черносеошников и прочих пироговодов.
https://t.me/MikeBlazerX/282
https://t.me/MikeBlazerX/282
Telegram
Mike Blazer
В последнем подкасте "Search Off The Record" Gary Illyes из Google сказал, что Google больше не придает меньшего значения контенту или элементам, которые не видны на странице. Такой контент просто должен быть в HTML или "немедленном" JavaScript, и это имеет…
Директива noarchive сломалась?
Увидел в твиттере у @MikeBlazerX вопрос к Мюллеру про несработавший метатег robots с директивой noarchive.
Первая гипотеза была, что может быть краулер уже сохранил кэш страницы, поэтому пропала только ссылка на кэш.
Но затем я полез проверять свежие дорвеи в выдаче и да, по оператору cache: в Google доступно содержание страницы, хоть мета-тег и поставлен.
Технически все соблюдено, если смотреть по справке - ссылки нет! Но раньше у страниц архива не было. Что-то поменялось или это баг? Ждем ответа Мюллера!
UPD: На 26.08.22 Починили.
Увидел в твиттере у @MikeBlazerX вопрос к Мюллеру про несработавший метатег robots с директивой noarchive.
Первая гипотеза была, что может быть краулер уже сохранил кэш страницы, поэтому пропала только ссылка на кэш.
Но затем я полез проверять свежие дорвеи в выдаче и да, по оператору cache: в Google доступно содержание страницы, хоть мета-тег и поставлен.
Технически все соблюдено, если смотреть по справке - ссылки нет! Но раньше у страниц архива не было. Что-то поменялось или это баг? Ждем ответа Мюллера!
UPD: На 26.08.22 Починили.
adult-2022-analytics.csv
12.7 KB
Данные по молодым адалт сайтам
Заметил, что в адалте депрессия и слезы после последних апдейтов, поэтому решил выложить один файлик. Исследовал в августе несколько сотен тысяч адалт-запросов из разных подниш и сделал тогда сырую выборку из чуть более сотни созданных в 2022-м сайтов. Сегодня пробил еще раз данные и получил те, что просели и те, что выросли. Можете для себя найти ниши/гео, в которых еще возможно сейчас что-то делать (есть интересные источники контента среди представленных доменов).
Заметил, что в адалте депрессия и слезы после последних апдейтов, поэтому решил выложить один файлик. Исследовал в августе несколько сотен тысяч адалт-запросов из разных подниш и сделал тогда сырую выборку из чуть более сотни созданных в 2022-м сайтов. Сегодня пробил еще раз данные и получил те, что просели и те, что выросли. Можете для себя найти ниши/гео, в которых еще возможно сейчас что-то делать (есть интересные источники контента среди представленных доменов).
Интересный EMD
hookers-near-me.com - затесался в списке выше. Использует генеративный принцип для посадочных страниц по городам США и Канады. Ссылок по Ahrefs стоит немного (глубоко не копал), текстовый контент сделан из шаблонов, дополненных открытыми данными.
Самое главное, что он стоит в топ-1 по достаточно конкурентному запросу, который так же является названием домена.
Возможностей генерировать сайты много, главное проявить фантазию :)
hookers-near-me.com - затесался в списке выше. Использует генеративный принцип для посадочных страниц по городам США и Канады. Ссылок по Ahrefs стоит немного (глубоко не копал), текстовый контент сделан из шаблонов, дополненных открытыми данными.
Самое главное, что он стоит в топ-1 по достаточно конкурентному запросу, который так же является названием домена.
Возможностей генерировать сайты много, главное проявить фантазию :)
Контент из твиттера
monsnode.com - продолжая разбор списка адалт-сайтов, хотелось бы отметить данный домен. Если заглянуть на главную, то сразу и не понятно в чём здесь цимес. Однако, давайте посмотрим эту страничку (осторожно, контент для взрослых):
https://monsnode.com/search.php?search=あみちハメ撮り流出, здесь представлены адалт-ролики из твиттера по запросу из поиска социальной сети.
В чем особенность твиттера? Эта соцсеть является одной из немногих, которую могут использовать для продвижения создатели nsfw-контента.
Адалт-контент в твиттере постоянно пополняется, создатели контента даже сами помечают нужными хэштегами.
Еще одна возможность для адалт-вебмастеров и не только. Главное не забывайте про DMCA! :)
monsnode.com - продолжая разбор списка адалт-сайтов, хотелось бы отметить данный домен. Если заглянуть на главную, то сразу и не понятно в чём здесь цимес. Однако, давайте посмотрим эту страничку (осторожно, контент для взрослых):
https://monsnode.com/search.php?search=あみちハメ撮り流出, здесь представлены адалт-ролики из твиттера по запросу из поиска социальной сети.
В чем особенность твиттера? Эта соцсеть является одной из немногих, которую могут использовать для продвижения создатели nsfw-контента.
Адалт-контент в твиттере постоянно пополняется, создатели контента даже сами помечают нужными хэштегами.
Еще одна возможность для адалт-вебмастеров и не только. Главное не забывайте про DMCA! :)
Гибридная дорвейная схема adult + download
https://of-files.net
https://download-of.com
https://dirtyof.com
https://ofdown.net
https://ofpack.net
Продолжаем разбирать список доменов по адалту. Схема представляет собой гибрид адалта и даунлода, на посадочных страницах моделей стоит ссылка на партнерку с якобы сливом ее медиаматериалов с онлифанс. Для реализации собирают базу юзеров, парсят их онлифанс страницы, на основе контента странички реализуют по шаблону посадочную.
Схема недолгосрочная, масштабируемая, баны и фильтры ожидаемы (DMCA будут лететь и выпилы по ним из SERP точно).
https://of-files.net
https://download-of.com
https://dirtyof.com
https://ofdown.net
https://ofpack.net
Продолжаем разбирать список доменов по адалту. Схема представляет собой гибрид адалта и даунлода, на посадочных страницах моделей стоит ссылка на партнерку с якобы сливом ее медиаматериалов с онлифанс. Для реализации собирают базу юзеров, парсят их онлифанс страницы, на основе контента странички реализуют по шаблону посадочную.
Схема недолгосрочная, масштабируемая, баны и фильтры ожидаемы (DMCA будут лететь и выпилы по ним из SERP точно).