😮 (2/3) Автогруппировка 35 тысяч фраз за 2 минуты в Power Query.

🔺 Прочитайте сначала часть 1.

При группировке в шаблоне PQ не учитываются и не являются группообразующими критериями:

🔸 Морфология (словоформы).
🔸 Порядок слов в строке.
🔸 Стоп-слова (служебные части речи).
🔸 Повторы слов в строке.
🔸 Повторы категорийных ярлыков в строке (дубли игнорируются).
🔸 Повторы ярлыков добавок в строке (аналогично).
🔸 Добавки можно использовать как критерии группировки опционально в высокочастотных кластерах, где много фраз с ними, но в средне- и низкочастотных кластерах любыми видами добавок можно пренебречь во избежание чрезмерного дробления лишних сущностей в аккаунте.
🔸 Информационные добавки и ранние этапы спроса, т.к. они исключены из целевой семантики.

————

Но это ещё цветочки.

7 вещей, которые срывают покровы:

1️⃣ Я одновременно и очистил от мусора, и сгруппировал 35 тысяч фраз.

2️⃣ Сделал я это автоматом, не перетащив ни единой фразы вручную.

3️⃣ Перегруппировка и/или фильтрация фраз по новым спискам условий обновляется за 2 минуты.

4️⃣ Можно указать свой порядок группировки.

5️⃣ Для этого достаточно внести изменения лишь в исходные библиотеки слов.

6️⃣ Исходная семантика вообще на английском языке, который я даже не читал, да и на русском — тоже.

7️⃣ Все последующие итерации аналитики за новые периоды будут начинаться с обновления этого запроса PQ, двух минут ожидания — и данные будут обработаны, очищены от мусора и сгруппированы.

А дальше можно реализовывать любые самые безумные идеи для изучения данных и за всю историю, и за новый период, и сравнивать с предыдущим, и в динамике по датам и т.д.

На скринах пример результата отработки запроса.

————

Во вторник 28 мая в 19:00 по Мск покажу на стриме, как это всё выглядит и работает, и что нужно для изготовления сего чуда нанотехнологий.

————

PS.

Кому вальнуть рекламу по дверям? 😂 Я одновременно и на русском, и английском собрал, очистил и сгруппировал семантику за 5 дней, три из которых делал шаблон PQ.

🔻 Читать продолжение.

via @ppc_bigbrain

🦍 (3/3) Автогруппировка 35 тысяч фраз за 2 минуты в Power Query.

🔺 Прочитайте сначала часть 1 и часть 2.

Пока шаблон привязан "хардкодом" к названиям и количеству столбцов в этом проекте, но и не было задачи заниматься параметризацией.

До универсализации ещё далеко, но запрос PQ уже оптимизирован так, чтобы можно было переделать его под другой проект.

На объёмах в 575 тысяч неуникальных фраз из 330 выгрузок планировщика Гугла, из которых уникальных — 70 тысяч фраз, и из них целевых с ненулевой частотностью — 35 тысяч фраз, PQ выполняет ~300 преобразований данных за 2 минуты.

Зачем мне столько фраз? Да специально, чтобы на больших объёмах протестить.

2 дня назад, когда операций было в 5 раз меньше, но скорость запроса не была оптимизирована, он выполнялся 10-15 минут.

Теперь он в 5 раз сложнее и больше, и 1300 строк кода отрабатывают за 2 минуты.

О — оптимизация.

Для полного хлебушка с нулевым опытом в разработке очень достойный результат, ящщетаю.

На последнем скрине — связанные запросы PQ.

Эти связи — то, что под капотом у автоматизации сквозного обновления данных.

Похимичу ещё с типами извлекаемых и сопоставляемых данных (списками, записями, таблицами) и попробую ускорить запрос ещё в несколько раз.

————

Следующие шаги:

💓 Избавление от хардкода.
💓 Параметризация переменными.
💓 Замена синонимов на единое написание.
💓 Игнор неявных дублей иностранных фраз.
💓 Ускорение запроса.
💓 Замена лишних запросов функциями.
💓 Уменьшение количества подключений в 10 раз.
💓 Гибкость и юзерфрендли.

Турбокомбайн уже на подходе. Подробнее о нём:

— Часть 1
— Часть 2
— Часть 3
— Часть 4
— Часть 5

За 3 дня с чистого листа собрал самое крутое, что я когда-либо делал за 10 лет карьеры. Дико рад, что наконец пересилил себя, сел и сделал. Энергии от полученных результатов хватит ещё на пару месяцев разработки.

————

Сегодня в 19:00 по МСК на стриме покажу, как работает этот комбайн, и расскажу, что с ним делать, чем он будет полезен и при запуске РК, и при аналитике, и при оптимизации рекламы.

————

via @ppc_bigbrain