👁 Плохое зрение или плохое мышление? Новый метод RL улучшает VLM
Исследователи представили фреймворк MoCA (Modality-Aware Credit Assignment), который решает ключевую проблему Vision-Language Models (VLM): как определить, вызвана ли ошибка модели плохим восприятием изображения («bad seeing») или ошибочной логикой («bad thinking»).
Авторы предлагают подход на основе reinforcement learning, который разделяет процесс генерации на шаги восприятия и рассуждения. Ключевая инновация — Perception Verification (PV): «слепое» рассуждение, которое оценивает точность восприятия независимо от итогового вывода. Для масштабирования используется Structured Verbal Verification — замена нестабильных LLM-судей на структурированные алгоритмы.
MoCA позволяет направлять награду (reward) на конкретный источник ошибки. В результате одна и та же VLM достигает одновременного улучшения как в задачах на восприятие, так и в задачах на логическое рассуждение, преодолевая «эффект качелей» (seesaw effect), типичный для современных мультимодальных моделей. Работа принята на ICML 2026 как Spotlight.
#Tech #VLM #ICML2026 #AI
Исследователи представили фреймворк MoCA (Modality-Aware Credit Assignment), который решает ключевую проблему Vision-Language Models (VLM): как определить, вызвана ли ошибка модели плохим восприятием изображения («bad seeing») или ошибочной логикой («bad thinking»).
Авторы предлагают подход на основе reinforcement learning, который разделяет процесс генерации на шаги восприятия и рассуждения. Ключевая инновация — Perception Verification (PV): «слепое» рассуждение, которое оценивает точность восприятия независимо от итогового вывода. Для масштабирования используется Structured Verbal Verification — замена нестабильных LLM-судей на структурированные алгоритмы.
MoCA позволяет направлять награду (reward) на конкретный источник ошибки. В результате одна и та же VLM достигает одновременного улучшения как в задачах на восприятие, так и в задачах на логическое рассуждение, преодолевая «эффект качелей» (seesaw effect), типичный для современных мультимодальных моделей. Работа принята на ICML 2026 как Spotlight.
#Tech #VLM #ICML2026 #AI
👍1
Sakana AI совместно с Токийским университетом представила метод SAIL (Scaling In-Context Imitation Learning), который позволит роботам осваивать новые задачи без дообучения самой модели. Работа будет представлена на конференции IROS 2026.
Идея в том, что фундаментальные модели уже впитали огромные объёмы изображений, текста и робототехнических данных - SAIL извлекает эти знания для управления роботом, не меняя веса модели. Политика строится на VLM-генераторе траекторий, которому дают несколько успешных демонстраций. Сгенерированный маршрут проверяется в симуляторе, а оценочный VLM просматривает видео и определяет, где прогресс остановился. Дальше policy-VLM переписывает траекторию с учётом замечаний, а Monte Carlo tree search исследует альтернативы и дорабатывает перспективные варианты. На физического робота отправляется только выбранная траектория - это снижает риск провала из-за одной ошибочной цели движения.
Результаты: на шести задачах манипуляции в симуляции рост бюджета поиска с одного кандидата до 45 поднял среднюю долю успешных траекторий с 25% до 73%. Авторы также протестировали SAIL на реальном роботе и заключают, что генерация траекторий выигрывает от test-time scaling - дополнительные вычисления позволяют модели проверять и уточнять действия в симуляторе перед выходом в физический мир.
🎨 qvabo.studio/tg · картинки и видео
#Tech #SakanaAI #Robotics #VLM #TestTimeScaling #AI #Research
Please open Telegram to view this post
VIEW IN TELEGRAM
👏1👌1