👁🗨 Weblica: масштабируемые и воспроизводимые среды для обучения визуальных веб-агентов
Исследователи Apple ML представили Weblica — фреймворк для создания воспроизводимых и масштабируемых веб-сред, предназначенных для обучения визуальных веб-агентов. Современные подходы к сбору данных ограничены офлайн-траекториями для supervised fine-tuning или небольшим числом симуляторов для RL-тренировки, что не отражает реального разнообразия веба.
Weblica решает эту проблему с помощью двух ключевых механизмов: HTTP-кэширование на уровне запросов позволяет захватывать и воспроизводить стабильные визуальные состояния страниц, сохраняя интерактивное поведение элементов. Второй компонент — LLM-синтез окружений, который генерирует новые сценарии и страницы, расширяя покрытие. Это даёт возможность создавать тысячи уникальных, но воспроизводимых сред для тренировки агентов без необходимости каждый раз обращаться к реальному вебу.
Практическое значение: разработчики визуальных веб-агентов (например, для автоматизации браузера или тестирования UI) получают инструмент для масштабируемого сбора данных и RL-тренировки. Фреймворк особенно полезен для команд, работающих над агентами, которые должны адаптироваться к динамическим изменениям в вебе — от смены CSS-классов до перестройки DOM-дерева.
#AI #AppleML #Weblica #Agents #RL #MachineLearning
Исследователи Apple ML представили Weblica — фреймворк для создания воспроизводимых и масштабируемых веб-сред, предназначенных для обучения визуальных веб-агентов. Современные подходы к сбору данных ограничены офлайн-траекториями для supervised fine-tuning или небольшим числом симуляторов для RL-тренировки, что не отражает реального разнообразия веба.
Weblica решает эту проблему с помощью двух ключевых механизмов: HTTP-кэширование на уровне запросов позволяет захватывать и воспроизводить стабильные визуальные состояния страниц, сохраняя интерактивное поведение элементов. Второй компонент — LLM-синтез окружений, который генерирует новые сценарии и страницы, расширяя покрытие. Это даёт возможность создавать тысячи уникальных, но воспроизводимых сред для тренировки агентов без необходимости каждый раз обращаться к реальному вебу.
Практическое значение: разработчики визуальных веб-агентов (например, для автоматизации браузера или тестирования UI) получают инструмент для масштабируемого сбора данных и RL-тренировки. Фреймворк особенно полезен для команд, работающих над агентами, которые должны адаптироваться к динамическим изменениям в вебе — от смены CSS-классов до перестройки DOM-дерева.
#AI #AppleML #Weblica #Agents #RL #MachineLearning
👍1🔥1