Я сделал это! Турбокомбайн готов. Пайплайн из 650 функций.

Последние 4 месяца работы систематизировал алгоритм обработки данных таким образом, чтобы абсолютно сырая неочищенная семантика любого размера, в том числе со статистикой рекламных кампаний, была очищена, размечена, приоритизирована и сгруппирована в 1 клик.

За последние 2 недели ежедневного сидения в коде по 20 часов в сутки у меня наконец это удалось.

Следующие пару недель ещё буду заниматься сбором и добавлением данных из всех своих проектов, с которыми когда-либо работал, но текущие результаты уже шокируют.

Плюс добавлю шаги изготовления полностью готовых рекламных кампаний.

У меня получилось сделать то, о чём я мечтал и к чему я готовился 10 лет карьеры.

Функционала сейчас создано уже столько, что в 1 единственный клик выполняется почти всё, чему я научился за 10 лет работы с контекстом.

Как тебе такой обучающий курс, Илон Маск?

И оно уже сейчас реализовано в таком исполнении, что на этот сквозной пайплайн можно довешивать дальше все остальные рабочие процессы.

В том числе на любых языках и для любых рекламных систем.

— Сквозной пайплайн из 650 взаимосвязанных функций.
— Автоматическое создание сотни столбцов, в каждом из которых происходят свои преобразования.
— Скорость чтения — 2,5–4 МБ в секунду.
— Скорость обработки — 50 тысяч ячеек в секунду.
— Одновременное создание нескольких интерактивных сводных таблиц под разные задачи со сквозными кастомными фильтрами.
— Автопересчёт всего пайплайна, изменив всего лишь одну ячейку на самом первом этапе.
— Автообновление модели данных за новые диапазоны дат с учётом всех кастомных преобразований.
— Ещё очень много всего с приставкой "авто-".

Я перед новым годом обещал вам, что вы охуеете, но охуел даже я сам.

Усиленно тружусь, чтобы ни мне, ни вам больше никогда не пришлось заниматься этим рабским трудом.

Уже сейчас можно смело публично заявлять, что этот инструмент навсегда перевернёт индустрию контекстной рекламы.

⬇️ Продолжение:

✅ Неделя 3: 780 функций, 2055 строк кода.
✅ Неделя 4: 2900 строк кода, гибкость и универсальность 90 LVL.

via @ppc_bigbrain

Турбокомбайн за 3 недели: 780 функций, 2055 строк кода.

✅ Неделя 2: пайплайн из 650 функций.

🔸 Объёмы обработки тестовых данных:

— 4 аккаунта.
— 1,07 ГБ данных.
— 1,05 млн строк статистики с разбивкой по всем атрибутам и датам.
— 208 000 уникальных поисковых запросов.
— 45 500 униграмм (уникальных форм слов).
— 42 000 лемм униграмм (начальных словарных форм слов).

🔸 Объём кода:

— 2 055 строк.
— 116 000 символов.
— 39 листов А4.

🔸 Разнообразие операций:

— Всего — 782 функции в пайплайне.
— Уникальных — 52 функции (в Power Query их всего 800), из них:
• 22 — функции таблиц.
• 14 — текстовые функции.
• 10 — функции списков.
• 6 — другие (см. скриншоты 3–6).

🔸 Автоизвлечение и автозамена лемм униграмм на их смысловые ярлыки:

— 50 универсальных правил.
— 97 универсальных регулярных выражений для извлечения и замены размеров.
— 7,2×10^24 (число с 24 нулями) комбинаций паттернов, которые учитывают регулярки.
— 12 000 лемм униграмм в собственной библиотеке смысловых ярлыков, собранных из 8 проектов. Позже добавлю десятки тысяч слов с ярлыками ещё из ~30 проектов.

🔸 Результаты:

— Более 200 смысловых ярлыков, размеченных в 1 клик.
— Из 42 000 лемм униграмм автоматически размечено смысловыми ярлыками 37 000, т.е. 88%.
— В сегменте из оставшихся 5000 неразмеченных слов:
• 3000 слов сгруппированы по частям речи для удобства и ускорения последующей разметки.
• 98,2% кликов содержатся в первых 220 словах с 2 кликами и более (4,4% списка оставшихся слов).
• 100% кликов содержатся в 500 словах с 1 кликом и более (10% оставшихся слов).
• Остальные 4500 слов (90% оставшихся) — с показами без кликов.

Вся суть комбайна в том, чтобы вручную прометить только целевые слова из оставшихся 220–500 неразмеченных слов и перепроверить все остальные, уже размеченные моими правилами, регулярками и библиотеками.

В т.ч. вашими библиотеками, естественно. Их бесшовную интеграцию в код я тоже добавлю. Как их составлять для бесшовной интеграции и кастомизации комбайна под любой проект — объясню позже.

Все предыдущие и все последующие этапы, сколько бы я их дальше ни добавил, делает код.

— Идентичная автогруппировка семантики:
• В частотном словаре слов, аналогов которому на рынке не существует даже близко.
• В таблице группировки фраз.
• Обе таблицы имеют сотню идентичных срезов, группировок, сортировок и интерактивных фильтров: как кастомных автовычисляемых, так и стандартных из рекламных кабинетов.

🔸 Автогруппировка и автофильтрация статистики по униграммам и фразам:

— Категорийным размеченным.
— Категорийным неразмеченным.
— Модельно-вендорным.
— Номенклатурным.
— Топонимам (геодобавкам).
— Горячим добавкам.
— Ранним этапам спроса.
— Инфодобавкам.
— Различным паттернам латиницы.
— Различным паттернам кириллицы.
— Различным паттернам цифр.
— Размерам с любыми единицами измерения.
— Комбинациям двух-трёх габаритов с любыми единицами измерения.
— Самостоятельным частям речи.
— Стоп-словам (служебным частям речи).

🔸 Время отработки:

— 185 столбцов создаются и пересчитываются автоматически.
— 45 минут — отработка всего пайплайна из 780 функций.
— 8 из 45 минут — автопересчёт сотни кастомных столбцов, автоприоритизация и перегруппировка семантики, изменив лишь исходные условия.
— 1 час — извлечение 7,2×10^24 паттернов размеров и их замена на смысловые ярлыки 97 большими сложными регулярками на массиве в 45 500 униграмм.

Сперва может показаться, что это всё долго, но потом вспоминаешь, что за это время выполняется двух-трёх недельный объём работы, когда ты сам в это время не делаешь вообще ничего. И выдыхаешь.

Хочется немножечко плакать от того, что теперь больше никогда не придется страдать с этим рабским трудом.

Каждый раз.
Каждую неделю.
На каждом проекте.

Это всё ещё не весь функционал, который я запланировал, а лишь очередной апдейт, но текущая версия уже превосходит среднестатистического мидла.

Мой прогноз: джуны отныне будут просто не нужны.

⬇️ Продолжение.

✅ Неделя 4: 2900 строк кода, гибкость и универсальность 90 LVL.

via @ppc_bigbrain

Турбокомбайн: неделя 4. Универсальность и гибкость 90 LVL.

✅ Неделя 2: пайплайн из 650 функций.
✅ Неделя 3: 780 функций, 2055 строк кода.

Апдейты за неделю:

— 2900 строк кода (55 листов А4), объём вырос почти в полтора раза.
— 662 функции — теперь их меньше.
— Гораздо больше динамических функций, которые создают, удаляют, изменяют и объединяют сразу несколько таблиц, списков, названий столбцов, содержания столбцов за раз.
— Переделал раз десять половину из 50 модулей для исключения избыточности (зависимых полей).
— Облегчил и нормализовал модель данных, объединив всё в снежинку по ключевым полям.
— Теперь на всех этапах обрабатываются только уникальные значения. Меньше строк = быстрее обработка.
— Ускорил пайплайн на 19% с 45 минут до 37 (обрабатываются 4 аккаунта одновременно, 1+ млн строк, 208 тысяч уникальных поисковых запросов).
— Операций теперь ещё больше, чем неделю назад, но они динамические и работают быстрее.
— За неделю параметризировал практически все объекты, с которыми выполняются какие-либо манипуляции. Осталось доделать ряд объектов, параметризировать которые легче всего.
— Почти весь исполняемый код пайплайна теперь пересчитывается динамическими функциями, независимо от исходных данных:
а. Создание, удаление, фильтрация столбцов независимо от их количества и названий.
б. Раскрытие любого количества только нужных столбцов в объединяемых таблицах.
в. Указание типов данных в любом количестве создаваемых и раскрываемых столбцов.

🔸 Не имеет значения:

— Количество столбцов в исходном датасете.
— Названия столбцов.
— С какой строки начинаются шапки столбцов в разных выгрузках.
— Язык столбцов.
— Порядок столбцов.
— Количество смысловых ярлыков и групп ярлыков.
— Их названия.
— Их добавление и удаление.
— Порядок их приоритета при сортировке и группировке.
— Порядок их фильтрации для запуска.

🔸 Некоторые из фич:

— Продвинутый частотный словарь слов с интерактивными фильтрами, автогруппировкой категорий, смысловых ярлыков, их комбинаций, пересчётом показателей по каждому сегменту.
— Авторазметка смысловыми ярлыками.
— Автосортировка сегментов.
— Автоприоритизация сегментов.
— Автоизвлечение сегментов.
— Автогруппировка сегментов.
— Автофильтрация сегментов.
— Автообнаружение сегментов.
— Опция ручного указания приоритета сегментов.
— Последующая автофильтрация и автоперегруппировка семантики за 15 минут (на объёмах 1+ млн строк сырых данных) при изменении смысловых ярлыков, их названий, их количества, их приоритета.
— Автоконсолидация статистики неявных дублей без учёта словоформ, порядка слов и стоп-слов (служебных частей речи).
— Автополучение самых частотных категорийных кластеров.
— Автопересчёт показателей по сотне кастомных срезов.
— Игнорирование выбранных кластеров или штучных значений как группообразующих критериев при группировке.

Осталось совсем немного, и доведу его до совершенства универсализации.

🔸 С такой гибкостью осуществилась моя мечта о возможности его применения:

— Любым человеком.
— С любым уровнем подготовки.
— С любым количеством проектов на одновременном сопровождении.
— На любом языке рекламы.
— На любом языке рабочих интерфейсов.
— В любой нише.
— На любом этапе работы с проектом.
— На любом этапе развития проекта на рынке.
— На данных из любого сервиса.
— С любым набором столбцов.
— С любым историческим объёмом данных.
— С любой интенсивностью накопления новых данных.
— С любой сложностью и разнообразием лексики в отрасли.

И это не громкие заявления. Теперь это факты.

В коде одного автоматического инструмента уже упаковано сразу несколько курсов по контекстной рекламе:

1️⃣ Приоритизация сегментов и запуск рекламы.
2️⃣ Ведение, автоматизация, оптимизация.
3️⃣ Итерационная аналитика и универсализация.
4️⃣ Запуск, ведение, аналитика, оптимизация, автоматизация контекстной рекламы на любых языках мира.

Из всего многообразия ручной работы PPC-шника с этой уберштукой самостоятельно придётся выполнять 1% еженедельной рутины.

И она почти вся целиком будет состоять из кнопки "Обновить".

⬇️ Продолжение.

✅ Спидран комбайна в Power BI.

via @ppc_bigbrain

Чиним карту скроллинга и карту кликов в Метрике.

Если у вас сайт на Тильде, и в Яндекс Метрике заблокировано отображение карты скроллинга, карты ссылок, карты кликов и аналитики форм (скрин 1), и вы видите ссылку на справку Яндекса, где говорится о запрете на отображение страницы во фрейме (скрин 2), делаем одно простое действие по шагам.

Инструкция из одной галочки, которую мы заслужили.

1️⃣ Настройки проекта Тильды.
2️⃣ Вкладка "Ограничить доступ" (скрин 3).
3️⃣ Листаем до раздела "Дополнительные серверные заголовки".
4️⃣ Включаем галочку "Отключить защиту от фреймов (X-Frame-options). Данная опция разрешает отображение сайта во фреймах" (скрин 4).
5️⃣ Переопубликовываем все страницы сайта (скрин 5).
6️⃣ Очистить кэш и куки браузера на устройстве.
7️⃣ Проверить работу карты кликов и карты скроллинга в Яндекс.Метрике.

Также пару советов от саппорта Тильды:

8️⃣ Отключить в браузере Adblock или иные плагины блокировки рекламы.
9️⃣ Внести следующие 4 сайта в список разрешенных у Adblock (или иных плагинов):

webvisor.com
mc.yandex.ru
metrika.yandex.ru
d31j93rd8oukbv.cloudfront.net

via @ppc_bigbrain