Скрипт выгрузки площадок с GoGetLinks: как я победил всплывашки, баны и утечки памяти

Предыстория. Раньше у меня уже был рабочий скрипт выгрузки для ГГЛ — запускался из консоли, всё летало. Прилетела новая задача, подумал: сделаю «на раз-два». Сделал — и внезапно выяснилось, что часть данных (тематика, TF, CF и др.) скрывается в тултипе, который появляется только при наведении на адрес сайта в таблице. Наводить вручную — так себе идея. А поймать код всплывашки не получалось: элемент подгружался через JS и существовал только в момент наведения. Спас ChatGPT: подсказал короткий код для консоли, который «фиксирует» тултип, чтобы вытащить его разметку.

С чем пришлось бороться. После допила скрипта время работы выросло в разы. Пытался ускорять — ловил баны. Параллельно появилась другая беда: память забивалась, вкладка падала. Переписывал скрипт несколько раз — без толку.

Поворотный момент. По совету ChatGPT переехал на Tampermonkey: для таких задач он дружелюбнее, чем голая консоль. Первые попытки тоже были не очень — долго + подвисания. Дальше гпт подсказал попробовать перехват запросов (сниф) и корректировку логики. С этого момента всё стабилизировалось. Итог по производительности: выгрузка всех площадок одного каталога (Например Яндекс, там около 25500 урлов) — около 5,5 часа.

Как пользоваться (короткий мануал).

1. Установить скрипт: https://seo-drift.ru/userscripts/ggl-export/ggl-export.user.js
Если Tampermonkey ещё не стоит — поставить расширение, а затем вернуться к ссылке для установки.

2. Войти в аккаунт GGL → «Каталог площадок» → настроить нужные фильтры → выбрать Яндекс или Google → выставить «Количество на странице» (рекомендую 50 или 100).

3. Если скрипт активирован, в правом нижнем углу появится значок GGL → нажать → «Старт».

4. Автосохранение включено каждые 20 страниц по умолчанию (можно изенить в самом скрипте). При первом запуске Tampermonkey может попросить разрешения на сохранение — его нужно выдать.

5. Сделать два прохода — отдельно для Яндекса и для Google. Затем объединить выгрузки через Excel.

Что дальше. Готовлю скрипты и для других бирж. В финале соберу итоговый отчёт, чтобы наглядно видеть разницу по ценам — она есть и часто немаленькая. Сейчас активно закупаюсь в GGL (уже набралось несколько кейсов), доноров отбираю собственным Python-скриптом. Дальше будут тесты на миралинкс и сапе.

Для ленивых - в комментах прbкреплю файл выгрузки GGL со всеми данными.

Если вы ещё не в GGL — ловите рефку.

@seo_drift

Не забывайте парашют=)

Понедельник — день тяжёлый

Предлагаю на пару минут переключиться. На выходных друг из Т-Банка скинул мне интересное видео: как за счет простой математики удалось объяснить сложные процессы — https://youtu.be/QI7oUwNrQ34?si=ihvAhABkVJTZCINo.

Что внутри:
— Закон больших чисел и идея зависимых событий.
— Пасьянс и рождение метода Монте-Карло.
— Как работают цепи Маркова (без перегруза формулами).
— Как устроен PageRank и почему это важно для поисковиков.
— Как нейросети «дописывают» слова.
— Почему у «цепей без памяти» появляется эффект «памяти» на длинной дистанции.

Считаю видео полезным минимум для общего понимания и как источник идей.

@seo_drift

🔥 Вспомогательные инструменты для удобной настройки Яндекс Директ, Google Ads и SEO.

Мой коллега, Павел Юмашев, разработал свой комбинатор ключевых слов. Помогает перемножать слова для дальнейшей работы с парсингом и тд.

Что умеет:
- Перемножать слова.
- Выгрузка запросов в блокнот (TXT).
- Выгрузка запросов в Excel (CSV).
- Добавлять и удалять столбцы для запросов.

В видео показал как работает.

Много полезного по Яндекс Директу 👉 @pavelumashev

SEO Квесты

Вуден на днях запустил серию квестов — и меня затянуло. Первые два прошёл легко: второй занял всего 1–2 минуты. А вот третий уже заставил подумать.

Сначала — по классике

- Rich snippet
- Google Apps Script
- Google Colab
- Подмена реферера и IP

Потратил уйму времени на консультации с нейросетями и мелкие эксперименты — результата ноль.

Когда очевидные варианты кончились, пошёл в обход: iframe (встраивание чужой страницы у себя) и ещё пару фишек. В итоге нашёл рабочий вариант и отправил верный ответ. А потом мне показали вариант, который оказался до смешного простым.

Но у меня не было ни капли осадка. Я дошёл до решения сам — пусть и с подсказками нейросетей. Такой путь дисциплинирует мышление, расширяет набор инструментов и делает следующую задачу легче.

Попробуйте и вы — есть шанс, что справитесь быстрее. Интересно, каким путём пойдёте вы.

Задание 1 | Задание 2 | Задание 3

@seo_drift

Вайб-кодинг - это просто

Дочери 9 лет. Помимо футбола она обожает мобильные игры (сейчас у них в ходу «99 Nights» в Roblox). Недавно после одной покупки нам в нагрузку предложили набор курсов. Я записал её на пробное занятие в онлайн-школу — название уже не помню. Преподаватель оказался прикольным: вкратце рассказал о нейросетях, позадавал пару вопросов — и сразу к практике. Открыли Qwen и начали писать простые промпты. Результат первого занятия — небольшой математический квиз в HTML.

Дочери очень понравилось, поэтому мы продолжили. Я открыл Qwen в браузере, залогинился и предложил подумать, что она хочет сделать. Разумеется, игру.

1. Первая игра: angel-math.netlify.app (по сути это продолжение того, что они делали с преподом)

Я почти не подсказывал. Видно, что адаптация под мобильные хромает и сама игра местами корявенькая — и это нормально.

2. Вторая игра: pets-99nights-in-the-forest.netlify.app

Здесь я лишь подсказал, что в промпте нужно просить сразу про адаптацию под мобильные. Видно, как всё аккуратно складывается на экранах телефонов. Логику игры она тоже продумала сама: у разных персонажей — разные задания.

Попробуйте поиграть: там разные задания и вариативность.

В общем дочь была в восторге как и я. Она закинула ссылки на игры своими одноклассникам, а я нескольким знакомым, на что один написал:

— «Охренеть можно.»
— «Фигасе.»
— «Раньше мы выпрашивали тамагочи, а сегодня дети сами себе их делают.»

А спустя пару моих сообщений тот же друг написал:

— «Я сижу, звёзды собираю, чтобы погладить фею.
Очень занят. Ржу.»

Я наблюдаю за нейросетями ещё со времён GPT-3/3.5. Они сильно выросли. Если вы до сих пор их не используете — вы отстаёте. Как минимум посмотрите на поисковики Яндекс и Google – они тоже добавили нейроответы и чаты прямо в поиск. Это уже базовый инструмент — и для взрослых, и для детей.

@seo_drift

Успешный успех.
Или нет?

Сейчас поясню, о чем я.

Когда тебя начинают копировать

Сначала я начал видеть в выдаче копии своих сайтов.
Иногда — вообще один в один: с Метрикой и кодами подтверждения вебмастера. Люди даже не заморачивались.

Подумал: ну ок, прикольно. Раз копируют — значит, моё кунг-фу SEO работает (конечно, только в связке с ПФ, без них там делать нечего).

Потом у меня начались проблемы:

— бан IP-сервера из-за абуз — все сайты вывалились из поиска примерно на недельку;
— дальше начались пляски с клаудфларе.

Проблемы со временем решились.

Но, сам того не осознавая, я задал определённый тренд, связанный с поддоменами.

Видимо, многие, кто анализирует выдачу, заметили мои тесты и начали внедрять похожие схемы у себя. (Ещё бы. Надо быть полным глупцом, чтобы не юзать такую халяву. Странно даже, что раньше это почти никто не использовал.)

Ощущение, когда задаёшь тренд

По факту я запустил новый тренд для целой ниши.
И это очень необычное ощущение — как будто немного прикоснулся к чему-то большему, чем просто очередной конвейерный запуск сайтиков.

Чем больше я работаю - тем больше есть разных фишек и еще больше понимания различных нюансов работы поисковых систем.

Сейчас у меня на подходе ещё один эксперимент. Вполне возможно, он тоже задаст новый тренд — но всё решат тесты и их результаты, а не красивые рассказы.

P.S. ИИ-текста рулят. Можно даже без корректировки. Правда промпты нужны не банальные)

@seo_drift

Есть кто в Чебоксарах на конфе?)

Го нетворкать

Вы же помните я искал собутыльников с кем понетворкать… на конфе в Чебоксарах.

Так вот, там было 2 доклада которые меня заинтересовали – оба конечно же связанные с ИИшечкой. Очень рекомендую посмотреть доклад, если вы работаете с нейронками – видео сам нарезал + доработал звук, а то организаторы так и не ответили (в общем взял все в свои руки).

Сейчас расскажу, чем же мне так запал в душу этот доклад. Спикером был Даниил Письменный, который уже с 92 года начал изучать нейронки (правда, тогда в это вкладывался немного другой смысл). Он объяснял сложные вещи простым языком, без воды, с живыми примерами.

Основные тезисы доклада:

1. Много агентов с разными ролями, с которыми он работает как с людьми: у каждого своя зона ответственности, свои задачи.
2. Огромная документация и пояснения — не просто «делай так», а зачем, в каком контексте и для какой цели.
3. Текст — не единственный и не всегда лучший способ общения с ИИ. Нейронки гораздо лучше понимают диаграммы, блок-схемы и картинки, чем мы привыкли думать.

Доклад, по сути, можно разложить на цепочку шагов:

Промпт инжиниринг (Онлайн чаты) > Контект инжиниринг (Curcor) > Контекст инжиниринг (Ограничения размера контекстного окна) > Создание спецификаций (Подготовка документации) > Создание агентов > Соединить несколько агентов > AI-First подход

Ссылка на сам доклад

Меня особенно зацепила мысль:
сначала — грамотное ТЗ и документация, потом — нейронки, а не наоборот.

(Да, у меня и до этого были неплохие ТЗ, но я понял, что нужно уделять этому еще больше внимания.)

Не просто «давай-ка накидаем запросов в чат», а выстроенная архитектура: кто за что отвечает, какие есть ограничения, какие форматы данных и как всё это согласовано между собой.

Личный инсайт

Я поймал себя на том, что часто смотрю на нейросети как на инструмент «точечного применения»: решить задачу, сгенерировать текст, написать кусок кода.

После этого доклада захотелось пересобрать взгляд:
от «одного умного помощника» к системе из агентов, документации и AI-first логике.

P.S.:Ну и очень повеселил вопрос от профессора кафедры информатики, которая докопалась до ошибок на слайдах. (Я так понимаю она никогда не генерила картинки через ИИ)

@seo_drift

Наконец-то закрыл гештальт с A-Parser и Zenno

Сейчас у A-Parser нехилые скидки — 30%
по промокоду FESTIVAL11.

Давно хотел купить и всё откладывал… В итоге взял себе сразу Enterprise.

Параллельно недавно купил и Зенку, так что теперь в канале могут появляться пресеты и шаблоны под эти две софтины.

Я понимаю, что кто-то скажет: «в этом нет смысла, всё можно написать самому».
Но иногда реально быстрее и проще использовать готовое, чем городить свои велосипеды с нуля.

Что планирую делать в A-Parser

— Сбор ссылок, анкоров, сниппетов и поисковых подсказок из выдачи Яндекс, Google, Bing, Mail.ru и других поисковиков.
— Поиск дропов.
— Генерация контента через нейросети на основе собранных данных.

В связке с Зенкой и бесплатными проксями это прям то, что нужно.
Не зря же я себе ещё и домашний сервер покупал.

@seo_drift