Как ИИ агент помогает в мелочах на примере HTML-читалки

Дальнейшая инструкция приводится исключительно в исследовательских целях и категорически не должна использоваться для получения контента, защищённым авторским правом.

Допустим вы нашли открытую бесплатную, не защищённую авторскими правами книгу или документацию, которой по каким-то причинам нет ни в txt ни в pdf, но есть в html онлайн читалке, которая каждую страницу подгружает по мере чтения.
Т.е. вы можете листать страницы, но сама книга не качается.

Если поставить задачу агенту напрямую, - он так и скажет, - источников нет, даже в исходниках страницы - сорян.
Но, решение есть.
Формулируем задачу так:
"скачай HTML страницу читалки, изучи код, перепиши его так, чтобы страницы сохранялись в файл, затем собери в PDF"

Дальше действия агента:
——————
🔎 Разведка через openclaw browser
Краб открывает читалку и проверяет три места:
— Глобальные JS-переменные: ищет массивы со строками-хешами (window.pages, window.pageList, любой Array > 10 элементов).
— Конфиг: bookConfig, bookPath, pageListPath, totalPageCount.
— Network: performance.getEntriesByType('resource') — что уже подгружено.

📦 Достаём массив страниц
Краб находит массив из сотен элементов с URL каждой страницы. Вытащить наружу одним eval нельзя объём слишком большой. Режет на чанки по 50 URL через evaluate, сохраняет в файлы через write, склеивает.

⬇️ Качаем параллельно
xargs -P 16 curl — 16 потоков, 500+ страниц за пару минут.
Никакой авторизации: viewer сам только что их подгрузил.

🧩 Собираем PDF
Pillow: images[0].save("out.pdf", "PDF", save_all=True, append_images=images[1:]). img2pdf на больших списках падает — argv раздувается до сотен КБ, Python зависает. Pillow собирает multi-page PDF без проблем.

📋 Порядок страниц
Алфавитная сортировка хешей ≠ порядок в читалке. Берём порядок из исходного массива, не из имён файлов.
——————
Профит. Сохраняем файл.

Тут важно, что все эти действия, которые выполняет агент, - вам знать не обязательно.
Управление на уровне формулирования целей.

Работает с FlipHTML5, Publuu, Flipsnack, Issuu, любой JS-читалкой.

#lifehack #html #reader
———
@tsingular