👁 Плохое зрение или плохое мышление? Новый метод RL улучшает VLM
Исследователи представили фреймворк MoCA (Modality-Aware Credit Assignment), который решает ключевую проблему Vision-Language Models (VLM): как определить, вызвана ли ошибка модели плохим восприятием изображения («bad seeing») или ошибочной логикой («bad thinking»).
Авторы предлагают подход на основе reinforcement learning, который разделяет процесс генерации на шаги восприятия и рассуждения. Ключевая инновация — Perception Verification (PV): «слепое» рассуждение, которое оценивает точность восприятия независимо от итогового вывода. Для масштабирования используется Structured Verbal Verification — замена нестабильных LLM-судей на структурированные алгоритмы.
MoCA позволяет направлять награду (reward) на конкретный источник ошибки. В результате одна и та же VLM достигает одновременного улучшения как в задачах на восприятие, так и в задачах на логическое рассуждение, преодолевая «эффект качелей» (seesaw effect), типичный для современных мультимодальных моделей. Работа принята на ICML 2026 как Spotlight.
#Tech #VLM #ICML2026 #AI
Исследователи представили фреймворк MoCA (Modality-Aware Credit Assignment), который решает ключевую проблему Vision-Language Models (VLM): как определить, вызвана ли ошибка модели плохим восприятием изображения («bad seeing») или ошибочной логикой («bad thinking»).
Авторы предлагают подход на основе reinforcement learning, который разделяет процесс генерации на шаги восприятия и рассуждения. Ключевая инновация — Perception Verification (PV): «слепое» рассуждение, которое оценивает точность восприятия независимо от итогового вывода. Для масштабирования используется Structured Verbal Verification — замена нестабильных LLM-судей на структурированные алгоритмы.
MoCA позволяет направлять награду (reward) на конкретный источник ошибки. В результате одна и та же VLM достигает одновременного улучшения как в задачах на восприятие, так и в задачах на логическое рассуждение, преодолевая «эффект качелей» (seesaw effect), типичный для современных мультимодальных моделей. Работа принята на ICML 2026 как Spotlight.
#Tech #VLM #ICML2026 #AI
👍1
🧠 Memora: гармоничная система памяти для ИИ-агентов — баланс абстракции и детализации
Исследователи Microsoft Research представили Memora — масштабируемую систему памяти для долгоживущих ИИ-агентов. Современные LLM по сути не имеют состояния: каждый сеанс начинается с нуля, а длинные диалоги требуют перечитывания всей истории. Memora решает эту проблему, разделяя хранение контента и механизмы поиска.
Ключевая инновация — декомпозиция памяти на два компонента: первичная абстракция (короткая фраза из 6–8 слов, отражающая суть) и богатое содержимое. Только абстракция индексируется для поиска, а детали остаются нетронутыми. Это позволяет объединять новую информацию по той же теме в существующую запись, избегая фрагментации.
На бенчмарках LoCoMo и LongMemEval Memora устанавливает новый SOTA, превосходя Mem0, RAG и полноконтекстный вывод, используя при этом до 98% меньше токенов. Система особенно полезна для копилот-ассистентов, работающих с проектами месяцами, и исследовательских агентов, накапливающих экспертизу. Код опубликован на GitHub, статья принята на ICML 2026.
#AI #System #Microsoft #Memora #ICML2026 #AImemory #LLM
Исследователи Microsoft Research представили Memora — масштабируемую систему памяти для долгоживущих ИИ-агентов. Современные LLM по сути не имеют состояния: каждый сеанс начинается с нуля, а длинные диалоги требуют перечитывания всей истории. Memora решает эту проблему, разделяя хранение контента и механизмы поиска.
Ключевая инновация — декомпозиция памяти на два компонента: первичная абстракция (короткая фраза из 6–8 слов, отражающая суть) и богатое содержимое. Только абстракция индексируется для поиска, а детали остаются нетронутыми. Это позволяет объединять новую информацию по той же теме в существующую запись, избегая фрагментации.
На бенчмарках LoCoMo и LongMemEval Memora устанавливает новый SOTA, превосходя Mem0, RAG и полноконтекстный вывод, используя при этом до 98% меньше токенов. Система особенно полезна для копилот-ассистентов, работающих с проектами месяцами, и исследовательских агентов, накапливающих экспертизу. Код опубликован на GitHub, статья принята на ICML 2026.
#AI #System #Microsoft #Memora #ICML2026 #AImemory #LLM
👍1💯1
Исследователи Sakana AI представили на ICML 2026 работу «Bridging Spherical Black-Box Optimizers», объединяющую два разрозненных подхода к оптимизации без градиентов. Параметрические методы (Evolution Strategies) масштабируются на высокие размерности, но находят лишь одно решение. Непараметрические (Consensus-Based Optimization) находят множество решений, но не работают в больших размерностях. Команда показала, что оба семейства — вариации одного уравнения обновления.
На основе этого открытия созданы гибридные оптимизаторы AdaPol и SchedPol. Их ключевое применение — слияние фундаментальных моделей (LLM). Оценка больших языковых моделей на каждом шаге ресурсоёмка, а маленький датасет вызывает переобучение у стандартных оптимизаторов. Новые алгоритмы трактуют слияние LLM как мультимодальную задачу: находят несколько различных оптимумов на малом датасете, что позволяет получать обобщённые качественные слияния при кратно меньших вычислительных затратах.
#AI #BlackBoxOptimization #EvolutionStrategies #SakanaAI #ICML2026
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Исследователи из Sakana AI представили метод UnMaskFork (UMF), позволяющий применять test-time scaling к masked diffusion language models (MDLM). В статье, принятой на ICML 2026, показано, что коллаборация нескольких MDLM над одним ответом улучшает результаты на задачах программирования и математики.
В отличие от стандартных LLM, генерирующих текст слева направо, MDLM заполняют полностью замаскированную последовательность параллельно. Однако обычный приём «повышения температуры» для увеличения разнообразия ответов на таких моделях, как Dream-Coder, не работает. UMF решает эту проблему через «переключение моделей»: несколько MDLM совместно раскрывают маски одного ответа, а Monte Carlo Tree Search определяет оптимальную последовательность, в которой каждая модель заполняет наиболее уверенные для неё части. Метод не требует дополнительного обучения — достаточно комбинировать предобученные модели на этапе инференса.
UMF стабильно превосходит существующие методы test-time scaling на бенчмарках по кодингу и показывает устойчивый рост производительности на математике. Работа продолжает линию исследований «коллективного интеллекта AI» в Sakana AI, включая AB-MCTS и Sakana Fugu.
#AI #DiffusalModels #TestTimeScaling #SakanaAI #ICML2026
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🔥1