Разработчики обещают автономные системы, которые сами бронируют билеты, следят за конкурентами и управляют закупками — без участия человека. Но реальность пока далека от идеала. Gartner прогнозирует, что более 40% проектов с AI-агентами будут отменены до конца 2027 года из-за высоких затрат, неясной бизнес-ценности и слабых механизмов контроля.
Проблема не в качестве моделей, а в инфраструктуре. Веб сопротивляется автоматизации: средний глобальный показатель «антиавтоматизационного трения» (CAPTCHA, rate limiting, фингерпринтинг) составляет всего 62,8 из 100, а структурированная интероперабельность данных — 60,3. Агенты не получают своевременных, машиночитаемых данных — ни из открытого веба, ни из корпоративных систем. Без реального времени (цены, запасы, обновления политик) агенты работают с «замороженной» версией мира.
Решение уже известно: как веб-краулеры и скраперы когда-то сделали интернет полезным, так и AI-агентам нужна инфраструктура сбора публичных данных в масштабе. Oxylabs готовит индекс Web Openness Index по 120 странам, показывающий разрыв между доступностью сайтов и их реальной пригодностью для автоматизации.
#AI #Agents #Systems #WebScraping #Data #Gartner
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔1
☁️ Cloudflare вводит непрерывный контроль за Verified-ботами
Cloudflare анонсировала систему, которая оценивает поведение верифицированных ботов не только по идентичности, но и по тому, соблюдают ли они правила сайтов. Проверка личности по Web Bot Auth и каталог BotBase теперь дополняются анализом реальных действий краулера.
Система отслеживает два сигнала: соблюдение robots.txt (согласно RFC 9309) и реакцию на HTTP-429 «Too Many Requests». Бот, который замедляется или делает паузу, повышает свой уровень доверия; тот, кто игнорирует сигналы, - понижает. Оцениваются не единичные сбои, а устойчивые паттерны поведения. Результатом становится объяснимый trust band - диапазон доверия с указанием, какие наблюдаемые действия на него повлияли, а не постоянный вердикт.
Инициатива развивает кейс Perplexity: в 2025 году её бот был исключён из списка Verified за обход запретов на скрейпинг. Публиковать оценки планируют в Cloudflare Radar. Позже система станет доступна всем клиентам с настраиваемым порогом доверия для обработки трафика.
🎨 qvabo.studio/tg · картинки и видео
#Cloudflare #Bots #AI #Infrastructure #WebScraping #Security
Cloudflare анонсировала систему, которая оценивает поведение верифицированных ботов не только по идентичности, но и по тому, соблюдают ли они правила сайтов. Проверка личности по Web Bot Auth и каталог BotBase теперь дополняются анализом реальных действий краулера.
Система отслеживает два сигнала: соблюдение robots.txt (согласно RFC 9309) и реакцию на HTTP-429 «Too Many Requests». Бот, который замедляется или делает паузу, повышает свой уровень доверия; тот, кто игнорирует сигналы, - понижает. Оцениваются не единичные сбои, а устойчивые паттерны поведения. Результатом становится объяснимый trust band - диапазон доверия с указанием, какие наблюдаемые действия на него повлияли, а не постоянный вердикт.
Инициатива развивает кейс Perplexity: в 2025 году её бот был исключён из списка Verified за обход запретов на скрейпинг. Публиковать оценки планируют в Cloudflare Radar. Позже система станет доступна всем клиентам с настраиваемым порогом доверия для обработки трафика.
🎨 qvabo.studio/tg · картинки и видео
#Cloudflare #Bots #AI #Infrastructure #WebScraping #Security
👏1👌1