😵 (1/2) 20 шагов, если Google Ads скрывает поисковые запросы с 80% кликов.

Вопрос из чата №48 от 26.08.24:

Лично у меня классическая бяда [на скриншоте 77% кликов — по скрытым поисковым запросам]. И не лечится. Задолбал Гугл своей этой байдой. Как быть, вечный вопрос.

Путь только один — идти на опережение и заведомо запретить Гуглу показывать вас по любому потенциальному мусору, который не отображается в скрытых поисковых запросах.

————

⚠️ Дисклеймер:

Это не поможет избежать факта скрытия 80% кликов по поисковым запросам, но точно поможет сократить долю нецелевого трафика в рамках этих скрытых запросов.

————

Для этого нужно отминусовать как можно больше нецелевой лексики, которую сам Гугл считает релевантной любым ключам и урлам из вашей отрасли.

Собрать мусор можно из планировщика Google Ads по:

🥷 Вашему домену.
🥷 Урлам вашего сайта.
🥷 Доменам конкурентов.
🥷 Каждому урлу каждого из домена конкурентов.
🥷 Добавленным ключам в ваш аккаунт.
🥷 Целевым поисковым запросам из статистики, которые ещё не добавлены в ключи аккаунта.
🥷 Остальной отраслевой, околоотраслевой, межотраслевой, конкурентной и прочей нецелевой семантике, которой нет ни в ключах, ни в статистике запросов, но которую придётся собрать самостоятельно из различных источников, включив мозжечок спинного надмозга.

Задача — собрать семантику по каждому из этих 7 пунктов, и из этой семантики собрать не только минус-слова, а ещё и слишком широкие минус-фразы для их исключения в [точном соответствии].

————

Пошаговый алгоритм:

1️⃣ Спарсить в Screaming Frog SEO Spider все урлы вашего домена. Если на сайте тысячи страниц, парсите по регулярным выражениям:

🥷 Либо по включениям нужных урлов — так время на парсинг будет во много раз меньше:

1️⃣ Сначала — категорийных разделов — по этим урлам вы будете выгружать семантику из планировщика Google Ads, и абсолютное большинство семантики Гугл вам отдаст по категорийным урлам.

2️⃣ Затем — подкатегорийных разделов — по этим урлам вы спарсите остатки несобранной семантики после этапа прохождения по категорийным урлам. Но парсить подкатегорийные урлы и загружать их в планировщик ключей Гугла будет смысла мало, т.к. вложенную глубину и синонимичную ширину ключей вы уже соберёте при выгрузке семантики с более широких категорийных разделов.

3️⃣ И в последнюю очередь — специфические узконаправленные страницы (карточки, страницы товаров и т.д.) — выгружать по ним семантику из планировщика Google Ads целесообразно только если это что-то с высоко- или среднечастотным спросом, иначе Гугл отдаст в прогнозе ноль новых ключей.

🥷 Либо по исключениям ненужных урлов — наиболее предпочтительный способ сбора

Парсинг урлов по включениям опасен тем, что в незнакомой структуре сайта вашего заказчика и любых его конкурентов вы можете не знать, какие урлы находятся в каких разделах, более того, страницы могли ранее добавляться на сайт неопытными специалистами, и могло быть не создано вообще никакой структуры.

Парсинг по исключениям безопаснее тем, что вы будете в 5-10 последовательных итераций перезапускать парсинг и при каждом перезапуске вносить в исключения ещё по 1-2 ненужных разделов или каких-либо паттернов символов в урле. Примерно после 7-10 итераций перезапусков в результатах парсинга практически одни только нужные категорийные урлы.

2️⃣ Каждый URL вставить в планировщик Google Ads и выгрузить прогноз ключей:
🥷 По домену.
🥷 По точным URL.

3️⃣ Ключи из аккаунта повставлять по 10 штук в планировщик Google Ads и собрать прогноз фраз. Создать отдельную папку на компе и сложить туда все выгрузки.

4️⃣ Пункт 3 повторить с целевыми поисковыми запросами из статистики. Файлы выгрузки сложить в ту же папку.

⬇️ Остальные 16 шагов в следующем посте.

via @ppc_bigbrain

🆘 (2/2) 20 шагов, если Google Ads скрывает поисковые запросы с 80% кликов.

⬆️ Продолжение части 1.

5️⃣ Собрать отраслевые домены конкурентов:
🥷 Спарсить SERP по списку ключей.
🥷 В пользовательских отчётах Google Ads собрать отчёт в срезе доменов из статистики аукционов, добавить в срез: даты, РК, группы, ключи, выбрать максимальный диапазон дат. Это позволит увидеть в сотню раз больше уникальных доменов, чем в стандартной статистике аукционов.

6️⃣ Домены из парсинга SERP и статистики аукционов объединить в один столбец, удалить дубли доменов.

7️⃣ С главных страниц списка уникальных доменов спарсить метатеги title+h1+description.

8️⃣ Три столбца метатегов объединить в один, продублировать его и обработать надстройкой SEMTools:
🥷 Удалить пунктуацию.
🥷 Привести к строчному регистру.
🥷 Удалить повторы слов в строке.
🥷 Лемматизировать.
🥷 Удалить стоп-слова.

9️⃣ Составить список главных категорийных слов, без которых страница не будет являться отраслевой, продублировать его рядом и лемматизировать.

1️⃣0️⃣ Составленный в пункте 9 список главных отраслевых слов извлечь из столбца с преобразованными метатегами в пункте 8.

1️⃣1️⃣ Отфильтровать домены, в метатегах которых извлечены главные отраслевые слова, т.е. эти домены точно являются отраслевыми конкурентами.

1️⃣2️⃣ По каждому домену спарсить в Screaming Frog все его урлы. Или только по тем, с которым доля пересечений показов в статистике аукционов наибольшая.

1️⃣3️⃣ По каждому URL каждого домена собрать прогноз ключей в планировщике Google Ads, выгрузить в Эксель, сложить файлы в ту же папку.

1️⃣4️⃣ Также изучить: 43 бесплатных и платных инструмента для сбора семантики. Поисковые подсказки, похожие запросы, ключи из баз сервисов — полезным будет всё.

1️⃣5️⃣ Объединить все файлы экспорта в один.

1️⃣6️⃣ Убрать дубли и неявные дубли выгруженных фраз.

1️⃣7️⃣ Убрать дубли и неявные дубли ключей в аккаунте и целевых поисковых запросов.

Пункты 16–17 необязательны, но они позволят не читать лишние тысячи строк, которые повторяют ваши ключи из аккаунта и уже прочитанные вами ранее целевые поисковые запросы.

1️⃣8️⃣ Сделать 1-gram анализ фраз (частотный словарь слов, из которых состоят фразы). В Power Query его можно сделать интерактивным.

1️⃣9️⃣ Собрать вайтлист целевых слов. Остальные слова и содержащие их фразы — нецелевые, и минус-список уже готов.

2️⃣0️⃣ Собрать в минус-фразы в [точном соответствии] слишком широкие фразы, которые хоть и содержат только целевые слов, но в которых не хватает нужного вам специфического слова, без которого фраза не имеет смысла для рекламирования.

————

Я уже разбирал на эфирах в закрытом канале:

🥸 Сбор сайтов конкурентов, парсинг метатегов урлов, их преобразование, извлечение целевых слов, фильтрацию только отраслевых доменов.
🥸 Настройки Screaming Frog SEO Spider, которые позволят не парсить с сайтов ненужную информацию и не упереться в лимит оперативной памяти.
🥸 Парсинг урлов домена по включениям и итерационный перезапуск парсинга урлов по исключениям.
🥸 Сбор иностранной семантики по доменам, точным урлам, ключам.
🥸 Объединение выгрузок, удаление дублей фраз, переводы, лемматизацию.
🥸 Фильтрацию семантики вайтлистом целевых слов.
🥸 Группировку фраз в порядке приоритета кластеров.
🥸 Формирование большого блэклиста слов без ручного сбора каждого минус-слова.
🥸 Массовую фильтрацию слишком широких "грязных" фраз для их исключения в точном соответствии.

Присоединяйтесь, скину вам ссылки на проведённые эфиры на эти темы — и изучайте в своё удовольствие, ни в чём себе не отказывайте.

————

⏰ В четверг 29 августа в 19:00 по МСК на стриме разберу в Power Query:

📌 Автоматизацию итерационной фильтрации целевых фраз.
📌 Автоматизацию итерационного сбора минус-слов и минус-фраз.
📌 Универсализацию готового пайплайна обработки данных под любой проект.

🔔 Го учиться, сентябрь на носу 🚸

via @ppc_bigbrain

↖️ 125 операций теперь за 1 минуту и 1 клик: обработка семантики в Power Query.

За последние сутки просидел 20 часов в Power Query и сделал нечто абсолютно потрясающее.

Я неоднократно рассказывал о турбокомбайне (часть 1, часть 2, часть 3, часть 4, часть 5), в котором автоматически очистил 70 тысяч фраз, и из них сгруппировал 35 тысяч фраз за 3,5 минуты.

И думал тогда, что создал гениальную нанотехнологию. Да, это был огромный прыжок для всего человечества в сторону автоматизации, но я знал, что можно не только его ускорить в несколько раз, но и довешать туда выполнение ещё пары сотен важных процессов.

————————

Как прошли мои последние три недели угара и содомии:

1️⃣ Раз десять брался за переделывание шаблона с полного нуля.
2️⃣ Каждый раз открывал все созданные запросы (код с шагами обработки на языке M в Power Query), видел новые дыры и понимал, что нужно сделать оптимальнее.
3️⃣ Шёл переделывать всё с нуля.
4️⃣ Смотрел взахлёб ролики на Ютубе на все схожие темы, которые могли относиться к нужным мне операциям.
5️⃣ Насмотрелся на то, что вытворяют на языке M забугорные профессионалы BI-разработки.
6️⃣ Понял, как оптимизировать множество процессов, а какие-то вовсе удалить.
7️⃣ Сотни раз пытался генерить в ChatGPT код и отдельных функций, и больших сложных процессов из нескольких десятков шагов преобразования данных.
8️⃣ Почти добился того, чтобы ChatGPT меня слушался и генерил сразу то, что мне нужно, без лишних правок, но от количества исправлений и переделываний захотелось немножечко суецыднуться.
9️⃣ Несмотря на сотни попыток сгенерить код в ChatGPT, взял за основу его код только для пары функций, которые составили ~10% кода, всё остальное сделал сам.
1️⃣0️⃣ В 2 раза уменьшил количество запросов и подключений к источникам (см. скрин выше).
1️⃣1️⃣ Сделал код более читабельным.
1️⃣2️⃣ Параметризировал функциями много чего, но ещё не всё.
1️⃣3️⃣ Универсализировал преобразования и вычисления.
1️⃣4️⃣ Предусмотрел множество пользовательских сценариев.
1️⃣5️⃣ Сделал сквозную взаимосвязь всех запросов друг с другом.
1️⃣6️⃣ В 1 клик за 1 минуту обновляется весь пайплайн.
1️⃣7️⃣ Предусмотрел важные вещи для удобства использования на последующих шагах.
1️⃣8️⃣ Почти в 3 раза сократил общий объём кода до 470 строк в сравнении с 1300 строками в прошлой версии.
1️⃣9️⃣ Сделал сквозной пайплайн из 125 операций преобразования данных.
2️⃣0️⃣ Уменьшил количество шагов в каждом запросе до одного.
2️⃣1️⃣ В 3 раза сократил время отработки запроса.
2️⃣2️⃣ Сделал упор на пользовательский опыт, т.к. делаю всё это уже не для себя, а для вас.

————————

Челлендж офигеть какой интересный, освоил много нового.

Ах да, чуть не забыл о результатах.

🚫 Прошлая версия, которую сделал 3 месяца назад, обрабатывала грязные спарсенные 70 тысяч фраз и группировала целевые 35 тысяч фраз за 3,5 минуты.

Не бомбите на количество фраз, я уже говорил, что тестирую пайплайн специально на больших объёмах, чтобы видеть дыры в производительности. Уникальных поисковых запросов в любом рекламном кабинете всё равно гораздо больше, и нужно быть готовым к тому, что придётся как-то с ними работать.

✅ Новую версию тестировал на грязном массиве из 50 тысяч фраз, и она отработала за 1 минуту 10 секунд.

✅ Ускорил пайплайн ровно в 3 раза. При этом операций было выполнено даже больше, чем раньше.

————————

Пока вдохновение есть, за ближайшую неделю довешаю сюда ещё под сотню-две операций.

Никогда не думал, что дойду до того, что моя мечта всё это автоматизировать и сделать комбайн не только для себя, а для людей, станет реальностью, но релиз всё ближе.

via @ppc_bigbrain

🧑‍⚕️ Год эволюции автоматизации контекста в Power Query.

Собрал опубликованные за последний год посты об автоматизации в Power Query. Перечитал их и заметил интересный момент.

Несмотря на то что текстовые описания выполняемых процессов остались теми же, многое изменилось в логике моих действий, подходах, порядке операций, их количестве, и главное — скорости их выполнения.

Самая первая сырая версия пайплайна отрабатывала какие-то безумные 40 минут, т.к. я просто не знал более оптимальных способов.

Сейчас 125 процессов выполняются за 1 минуту, хоть их и можно ускорить ещё в несколько раз — нужно всего лишь не лениться и переделать всё с самого начала ещё раз десять, переизобретя логику действий и ещё больше оптимизировав каждую операцию.

О многом я раньше не представлял не только о том, как это делать, а что это вообще выполнимо.

Чем больше впитывал на Ютубе видосы BI-разработчиков, чем больше пробовал что-то новое, тем интереснее становилось переделывать всё заново, собирая по крупицам подходы к преобразованию данных из очередных 30-50 видеоуроков, просмотренных по несколько раз каждый.

Оставлю это здесь в истории как памятник, к которому когда-то будет интересно вернуться самому и поумиляться с того, каким тупым валенком я был и какую лютую дичь я творил, хоть и для совсем незнакомого с этой темой человека это до сих пор инфа разрыв башки.

————————

1️⃣ Поисковый автотаргет = инсульт седалища? (или что нельзя делать вручную).

2️⃣ Простым языком, почему для вас важен Power Query?

3️⃣ Автошаблон для анализа статистики поисковых запросов.

4️⃣ Извлечение, фильтрация и замена библиотек в Power Query.

5️⃣ Кросс-минусация между категориями в Power Query (часть 1, часть 2, результаты)

6️⃣ Автоматизация чистки поисковых запросов в 1 клик.

7️⃣ Стрим про работу на иностранных языках в Google Ads.

8️⃣ Автоматизация запуска Google Ads на иностранных языках.

9️⃣ 18 способов ускорения запросов в Power Query.

1️⃣0️⃣ Автоматизация обработки поисковых запросов в Power Query.

1️⃣1️⃣ Автогруппировка 35 тысяч фраз за 2 минуты в Power Query (часть 1, часть 2, часть 3, тизер).

1️⃣2️⃣ Новые слои функционала и универсализация шаблона Power Query.

1️⃣3️⃣ Автоматизация 80 LVL => автоматизация over9000 LVL.

1️⃣4️⃣ 125 операций теперь за 1 минуту и 1 клик: обработка семантики в Power Query.

1️⃣6️⃣ 25 вопросов, которые закроет инструкция к комбайну.

1️⃣7️⃣ 4,5 года, 20 шагов прогресса, чек в 5 раз выше.

✅ Продолжение в части 2.

————————

Изучайте новое, юные падаваны, это систематизирует хаос в голове, тренирует дисциплину, мозг самопроизвольно начинает думать совершенно иначе.

От количества повторений вырабатывается полезная привычка смотреть на ныне невыполнимые в рамках текущих навыков задачи не как на что-то неосуществимое, а всего лишь как на очередной вызов, на который смотришь с мыслью:

«Задача ясна, пойдём переделаем раз десять и научимся её решать, ничего страшного, подумаешь».

И дальше с подобным отношением смотришь на всё происходящее в жизни.

via @ppc_bigbrain