Я сделал это! Турбокомбайн готов. Пайплайн из 650 функций.

Последние 4 месяца работы систематизировал алгоритм обработки данных таким образом, чтобы абсолютно сырая неочищенная семантика любого размера, в том числе со статистикой рекламных кампаний, была очищена, размечена, приоритизирована и сгруппирована в 1 клик.

За последние 2 недели ежедневного сидения в коде по 20 часов в сутки у меня наконец это удалось.

Следующие пару недель ещё буду заниматься сбором и добавлением данных из всех своих проектов, с которыми когда-либо работал, но текущие результаты уже шокируют.

Плюс добавлю шаги изготовления полностью готовых рекламных кампаний.

У меня получилось сделать то, о чём я мечтал и к чему я готовился 10 лет карьеры.

Функционала сейчас создано уже столько, что в 1 единственный клик выполняется почти всё, чему я научился за 10 лет работы с контекстом.

Как тебе такой обучающий курс, Илон Маск?

И оно уже сейчас реализовано в таком исполнении, что на этот сквозной пайплайн можно довешивать дальше все остальные рабочие процессы.

В том числе на любых языках и для любых рекламных систем.

— Сквозной пайплайн из 650 взаимосвязанных функций.
— Автоматическое создание сотни столбцов, в каждом из которых происходят свои преобразования.
— Скорость чтения — 2,5–4 МБ в секунду.
— Скорость обработки — 50 тысяч ячеек в секунду.
— Одновременное создание нескольких интерактивных сводных таблиц под разные задачи со сквозными кастомными фильтрами.
— Автопересчёт всего пайплайна, изменив всего лишь одну ячейку на самом первом этапе.
— Автообновление модели данных за новые диапазоны дат с учётом всех кастомных преобразований.
— Ещё очень много всего с приставкой "авто-".

Я перед новым годом обещал вам, что вы охуеете, но охуел даже я сам.

Усиленно тружусь, чтобы ни мне, ни вам больше никогда не пришлось заниматься этим рабским трудом.

Уже сейчас можно смело публично заявлять, что этот инструмент навсегда перевернёт индустрию контекстной рекламы.

⬇️ Продолжение:

✅ Неделя 3: 780 функций, 2055 строк кода.
✅ Неделя 4: 2900 строк кода, гибкость и универсальность 90 LVL.

via @ppc_bigbrain

Турбокомбайн за 3 недели: 780 функций, 2055 строк кода.

✅ Неделя 2: пайплайн из 650 функций.

🔸 Объёмы обработки тестовых данных:

— 4 аккаунта.
— 1,07 ГБ данных.
— 1,05 млн строк статистики с разбивкой по всем атрибутам и датам.
— 208 000 уникальных поисковых запросов.
— 45 500 униграмм (уникальных форм слов).
— 42 000 лемм униграмм (начальных словарных форм слов).

🔸 Объём кода:

— 2 055 строк.
— 116 000 символов.
— 39 листов А4.

🔸 Разнообразие операций:

— Всего — 782 функции в пайплайне.
— Уникальных — 52 функции (в Power Query их всего 800), из них:
• 22 — функции таблиц.
• 14 — текстовые функции.
• 10 — функции списков.
• 6 — другие (см. скриншоты 3–6).

🔸 Автоизвлечение и автозамена лемм униграмм на их смысловые ярлыки:

— 50 универсальных правил.
— 97 универсальных регулярных выражений для извлечения и замены размеров.
— 7,2×10^24 (число с 24 нулями) комбинаций паттернов, которые учитывают регулярки.
— 12 000 лемм униграмм в собственной библиотеке смысловых ярлыков, собранных из 8 проектов. Позже добавлю десятки тысяч слов с ярлыками ещё из ~30 проектов.

🔸 Результаты:

— Более 200 смысловых ярлыков, размеченных в 1 клик.
— Из 42 000 лемм униграмм автоматически размечено смысловыми ярлыками 37 000, т.е. 88%.
— В сегменте из оставшихся 5000 неразмеченных слов:
• 3000 слов сгруппированы по частям речи для удобства и ускорения последующей разметки.
• 98,2% кликов содержатся в первых 220 словах с 2 кликами и более (4,4% списка оставшихся слов).
• 100% кликов содержатся в 500 словах с 1 кликом и более (10% оставшихся слов).
• Остальные 4500 слов (90% оставшихся) — с показами без кликов.

Вся суть комбайна в том, чтобы вручную прометить только целевые слова из оставшихся 220–500 неразмеченных слов и перепроверить все остальные, уже размеченные моими правилами, регулярками и библиотеками.

В т.ч. вашими библиотеками, естественно. Их бесшовную интеграцию в код я тоже добавлю. Как их составлять для бесшовной интеграции и кастомизации комбайна под любой проект — объясню позже.

Все предыдущие и все последующие этапы, сколько бы я их дальше ни добавил, делает код.

— Идентичная автогруппировка семантики:
• В частотном словаре слов, аналогов которому на рынке не существует даже близко.
• В таблице группировки фраз.
• Обе таблицы имеют сотню идентичных срезов, группировок, сортировок и интерактивных фильтров: как кастомных автовычисляемых, так и стандартных из рекламных кабинетов.

🔸 Автогруппировка и автофильтрация статистики по униграммам и фразам:

— Категорийным размеченным.
— Категорийным неразмеченным.
— Модельно-вендорным.
— Номенклатурным.
— Топонимам (геодобавкам).
— Горячим добавкам.
— Ранним этапам спроса.
— Инфодобавкам.
— Различным паттернам латиницы.
— Различным паттернам кириллицы.
— Различным паттернам цифр.
— Размерам с любыми единицами измерения.
— Комбинациям двух-трёх габаритов с любыми единицами измерения.
— Самостоятельным частям речи.
— Стоп-словам (служебным частям речи).

🔸 Время отработки:

— 185 столбцов создаются и пересчитываются автоматически.
— 45 минут — отработка всего пайплайна из 780 функций.
— 8 из 45 минут — автопересчёт сотни кастомных столбцов, автоприоритизация и перегруппировка семантики, изменив лишь исходные условия.
— 1 час — извлечение 7,2×10^24 паттернов размеров и их замена на смысловые ярлыки 97 большими сложными регулярками на массиве в 45 500 униграмм.

Сперва может показаться, что это всё долго, но потом вспоминаешь, что за это время выполняется двух-трёх недельный объём работы, когда ты сам в это время не делаешь вообще ничего. И выдыхаешь.

Хочется немножечко плакать от того, что теперь больше никогда не придется страдать с этим рабским трудом.

Каждый раз.
Каждую неделю.
На каждом проекте.

Это всё ещё не весь функционал, который я запланировал, а лишь очередной апдейт, но текущая версия уже превосходит среднестатистического мидла.

Мой прогноз: джуны отныне будут просто не нужны.

⬇️ Продолжение.

✅ Неделя 4: 2900 строк кода, гибкость и универсальность 90 LVL.

via @ppc_bigbrain

Турбокомбайн: неделя 4. Универсальность и гибкость 90 LVL.

✅ Неделя 2: пайплайн из 650 функций.
✅ Неделя 3: 780 функций, 2055 строк кода.

Апдейты за неделю:

— 2900 строк кода (55 листов А4), объём вырос почти в полтора раза.
— 662 функции — теперь их меньше.
— Гораздо больше динамических функций, которые создают, удаляют, изменяют и объединяют сразу несколько таблиц, списков, названий столбцов, содержания столбцов за раз.
— Переделал раз десять половину из 50 модулей для исключения избыточности (зависимых полей).
— Облегчил и нормализовал модель данных, объединив всё в снежинку по ключевым полям.
— Теперь на всех этапах обрабатываются только уникальные значения. Меньше строк = быстрее обработка.
— Ускорил пайплайн на 19% с 45 минут до 37 (обрабатываются 4 аккаунта одновременно, 1+ млн строк, 208 тысяч уникальных поисковых запросов).
— Операций теперь ещё больше, чем неделю назад, но они динамические и работают быстрее.
— За неделю параметризировал практически все объекты, с которыми выполняются какие-либо манипуляции. Осталось доделать ряд объектов, параметризировать которые легче всего.
— Почти весь исполняемый код пайплайна теперь пересчитывается динамическими функциями, независимо от исходных данных:
а. Создание, удаление, фильтрация столбцов независимо от их количества и названий.
б. Раскрытие любого количества только нужных столбцов в объединяемых таблицах.
в. Указание типов данных в любом количестве создаваемых и раскрываемых столбцов.

🔸 Не имеет значения:

— Количество столбцов в исходном датасете.
— Названия столбцов.
— С какой строки начинаются шапки столбцов в разных выгрузках.
— Язык столбцов.
— Порядок столбцов.
— Количество смысловых ярлыков и групп ярлыков.
— Их названия.
— Их добавление и удаление.
— Порядок их приоритета при сортировке и группировке.
— Порядок их фильтрации для запуска.

🔸 Некоторые из фич:

— Продвинутый частотный словарь слов с интерактивными фильтрами, автогруппировкой категорий, смысловых ярлыков, их комбинаций, пересчётом показателей по каждому сегменту.
— Авторазметка смысловыми ярлыками.
— Автосортировка сегментов.
— Автоприоритизация сегментов.
— Автоизвлечение сегментов.
— Автогруппировка сегментов.
— Автофильтрация сегментов.
— Автообнаружение сегментов.
— Опция ручного указания приоритета сегментов.
— Последующая автофильтрация и автоперегруппировка семантики за 15 минут (на объёмах 1+ млн строк сырых данных) при изменении смысловых ярлыков, их названий, их количества, их приоритета.
— Автоконсолидация статистики неявных дублей без учёта словоформ, порядка слов и стоп-слов (служебных частей речи).
— Автополучение самых частотных категорийных кластеров.
— Автопересчёт показателей по сотне кастомных срезов.
— Игнорирование выбранных кластеров или штучных значений как группообразующих критериев при группировке.

Осталось совсем немного, и доведу его до совершенства универсализации.

🔸 С такой гибкостью осуществилась моя мечта о возможности его применения:

— Любым человеком.
— С любым уровнем подготовки.
— С любым количеством проектов на одновременном сопровождении.
— На любом языке рекламы.
— На любом языке рабочих интерфейсов.
— В любой нише.
— На любом этапе работы с проектом.
— На любом этапе развития проекта на рынке.
— На данных из любого сервиса.
— С любым набором столбцов.
— С любым историческим объёмом данных.
— С любой интенсивностью накопления новых данных.
— С любой сложностью и разнообразием лексики в отрасли.

И это не громкие заявления. Теперь это факты.

В коде одного автоматического инструмента уже упаковано сразу несколько курсов по контекстной рекламе:

1️⃣ Приоритизация сегментов и запуск рекламы.
2️⃣ Ведение, автоматизация, оптимизация.
3️⃣ Итерационная аналитика и универсализация.
4️⃣ Запуск, ведение, аналитика, оптимизация, автоматизация контекстной рекламы на любых языках мира.

Из всего многообразия ручной работы PPC-шника с этой уберштукой самостоятельно придётся выполнять 1% еженедельной рутины.

И она почти вся целиком будет состоять из кнопки "Обновить".

⬇️ Продолжение.

✅ Спидран комбайна в Power BI.

via @ppc_bigbrain