👁 Новый взгляд на мультимодальное кодирование от Zhipu ai

Zhipu AI представила GLM-5V-Turbo, модель машинного зрения, разработанную для преодоления разрыва между визуальным восприятием и логическим выполнением кода. Традиционно, модели, работающие с визуальным контентом и языком, сталкивались с компромиссом: они хорошо описывали изображения, но испытывали трудности с переводом этой информации в синтаксически строгий код, необходимый для разработки программного обеспечения.

GLM-5V-Turbo решает эту проблему с помощью Native Multimodal Coding и оптимизированных путей обучения для агентных рабочих процессов.
Ключевой особенностью является Native Multimodal Fusion, позволяющая модели обрабатывать и объединять визуальную и текстовую информацию на более глубоком уровне.

Это обеспечивает более точное понимание контекста и, как следствие, более эффективное преобразование визуальных данных в код. Модель оптимизирована для работы с OpenClaw и подходит для масштабных задач агентного инжиниринга.

#ZhipuAI #Multimodal #AI

⚙️ Together AI запускает новую модель Inkling от Thinking Machines Lab в день релиза

Thinking Machines Lab представила Inkling — мультимодальную Mixture-of-Experts модель с 975B параметров (40B активных на токен) и контекстным окном в 1M токенов. Together AI уже предоставляет доступ к модели на своей платформе инференса.

Inkling принимает текст, изображения и аудио, генерируя текстовые ответы через единую архитектуру декодера. Ключевая особенность — контролируемое усилие инференса: разработчики могут регулировать глубину рассуждений модели под конкретную задачу, балансируя между качеством, задержкой и затратами токенов. Модель обучена на научных рассуждениях, программировании, агентных сценариях, прогнозировании и калиброванных предсказаниях.

Архитектурные инновации включают query-conditioned relative attention, короткие каузальные свёртки (sconv) и shared expert sink в MoE. Together AI оптимизировал инференс через кастомное ядро FlashAttention-4, адаптированное под механизм относительного внимания модели. Разработчики получают доступ через serverless API с единым эндпоинтом для всех типов ввода и возможностью настройки усилия инференса на уровне запроса.

#AI #Inkling #TogetherAI #ThinkingMachinesLab #MultiModal #LLM

⚙️ Black Forest Labs представила FLUX 3 — мультимодальную модель, превосходящую Seedance 2.0, Gemini Omni и Grok Imagine

Команда Black Forest Labs анонсировала FLUX 3 — единую мультимодальную архитектуру, объединяющую генерацию изображений, видео, аудио и предсказание действий. Модель уже доступна в раннем доступе. По заявлению разработчиков, FLUX 3 превосходит Seedance 2.0, Gemini Omni и Grok Imagine по качеству синтеза.

Ключевые возможности FLUX 3: text-to-video, image-to-video (анимация или референс), video-to-video с переносом персонажа в новый контекст, генерация аудио из видео, keyframe-to-video для контролируемых переходов, мультиязычный диалог, широкий спектр стилей и aspect ratio, а также агентная склейка клипов в длинные сцены. Все выходы сопровождаются нативным аудио. Отдельно отмечается сильная генерация типографики и анимированного дизайна.

Помимо основной модели, BFL выпустила FLUX 3-mimic — версию для робототехники, разработанную совместно с Mimic Robotics. Модель использует backbone FLUX 3 для предсказания действий роботов в реальных производственных условиях. Это доказывает, что мультимодальный flow model способен формировать достаточную модель мира для управления физическими агентами. Разработчики обещают открыть веса Dev-версии.

#AI #BlackForestLabs #FLUX3 #MultiModal #VideoGen

🍏 Внутреннее визуальное мышление: новый подход Apple к видеорассуждениям ИИ

Исследователи Apple ML представили Internalized Visual Thinking (IVT) — фреймворк пост-тренировки мультимодальных LLM, который позволяет моделям «думать визуально» на этапе обучения, а не во время инференса.

Современные модели всё чаще используют visual chain-of-thought (Visual CoT): генерируют промежуточные изображения, чтобы рассуждать о пространстве, времени и окружении. Это даёт модели наглядное «мысленное» представление, но создаёт огромную вычислительную нагрузку — критично для проактивного видеорассуждения, где нужно анализировать поток кадров в реальном времени.

IVT решает эту проблему: визуальное мышление переносится на этап обучения, а на инференсе модель рассуждает напрямую, без генерации картинок. Совместная оптимизация текстовых предсказаний и внутренних визуальных представлений сохраняет преимущества Visual CoT, устраняя его главный недостаток. Для разработчиков это шаг к более эффективным видеомоделям, пригодным для робототехники, автономных систем и анализа видеопотоков.

#AI #AppleML #MultiModal #LLM #VideoReasoning #MachineLearning

⚙️ Ant Group открыла мультимодальную модель Ling-3.0-flash-VL с циклом визуальной обратной связи

Ant Group совместно с проектом inclusionAI выложили в open source Ling-3.0-flash-VL — мультимодальную модель на архитектуре MoE объёмом 124 млрд параметров, из которых активны лишь 5,5 млрд. Веса в форматах BF16 и FP8 опубликованы 9 сентября.

Ключевая особенность — цикл визуальной обратной связи (vision feedback loop): модель не просто описывает изображение, а итеративно проверяет результат собственного действия по скриншоту. Это делает её пригодной для агентных сценариев — управления графическим интерфейсом (GUI-агенты), генерации и правки фронтенд-кода по макетам, а также задач в медицине, где важна верификация визуальных данных.

Экономичная схема MoE с 5,5 млрд активных параметров означает, что модель можно разворачивать дешевле сопоставимых плотных решений при близком качестве. Для разработчиков это готовый кандидат в пайплайны компьютерного зрения и автономных агентов: открытые веса позволяют дообучать модель под свой домен без обращения к закрытому API.

#AI #OpenSource #Models #MultiModal #MoE #Development

🆕🆕 Alibaba выпустила Qwen3.8-Omni-Flash с контекстом 1 млн токенов

Команда Qwen из Alibaba представила Qwen3.8-Omni-Flash - нативную омнимодальную модель, которая обрабатывает текст, изображения, аудио и видео в едином пайплайне. Контекстное окно достигает 1 млн токенов, доступ открыт через платформу Qwen AI.

По заявлению Alibaba, средний балл модели вырос более чем на 26% в 30 бенчмарках по сравнению с Qwen3.5-Omni-Plus. Улучшения затронули аудио-видео агентов, кодинг, задачи с длинным контекстом и мультимодальное взаимодействие в реальном времени. Модель умеет анализировать длинные видео, делать саммари встреч, вести видеоресёрч и использовать инструменты.

Вместе с моделью вышли Qwen-MM-Plugins и Qwen-Live Harness - для длительных и real-time сценариев. Цена API снижена до 0,8 юаня за миллион входных токенов.

#Tech #Qwen #Alibaba #AI #Multimodal #LLM

🤣 SenseTime выпустила SenseNova U1.5 - нативную мультимодальную модель на 8B с открытым кодом обучения

SenseTime представила SenseNova U1.5 - модель на 8 млрд параметров на архитектуре Mixture-of-Transformers, которая объединяет понимание, рассуждение и генерацию в пиксельном пространстве в единую нативную мультимодальную систему. В отличие от пайплайнов, где восприятие идёт через отдельный vision-энкодер, а синтез - через VAE, U1.5 отображает пиксели и текст в общий backbone без внешних модулей.

Ключевое архитектурное изменение - замена независимого patch MLP-декодирования на лёгкий пространственный декодер: визуальные токены перестраиваются в двумерное признаковое поле, затем восстанавливаются через Pixel Shuffle и локальные свёртки, чтобы соседние области обменивались информацией до финализации пикселей. Каждый регион 32×32 по-прежнему маппится в один визуальный токен, но поддерживается нативная генерация до 4K с меньшим числом швов и текстурных разрывов, чем в U1.

Пост-тренировка идёт по схеме «сначала специализация, потом унификация»: отдельные RL-эксперты отвечают за визуальную эстетику, двуязычный рендеринг текста, вёрстку инфографики и редактирование изображений, после чего multi-expert on-policy дистилляция сворачивает навыки в единого студента. SenseTime открывает код обучения - SFT, RL и on-policy дистилляцию - с ассетами на Hugging Face под организацией OpenSenseNova.

#AI #SenseTime #SenseNova #Multimodal #OpenSource

💊 CAIR представила CARES 4.0 - мультимодальный клинический агент, который даёт врачам подсказки, а не вердикты

Центр искусственного интеллекта и робототехники (CAIR) Гонконгского института науки и инноваций Китайской академии наук представил CARES 4.0 - мультимодальную агентную систему для клиник. Презентация прошла на симпозиуме CREATE, посвящённом клинической робототехнике и embodied AI.

Главное отличие от версий 1.0-3.0 в том, что раньше это была модель, отвечавшая на вопросы по снимкам и видео, которой врач управлял сам. Теперь это агент, который выполняет задачи: например, сам собирает отчёт по объёму операций, расходным материалам и составу пациентов за месяц и уточняет, какая именно аналитика нужна. Система построена на агентном фреймворке Harness и собственных базовых моделях CAIR для КТ, МРТ, УЗИ, эндоскопии и ЭЭГ. Агент уже валидирован в нескольких ведущих больницах по трём направлениям: помощь в диагностическом маршруте, ответы на вопросы о работе отделения и статистический анализ датасетов.

Директор CAIR Лю Хунбинь подчёркивает: система именно ассистент. Каждая подсказка сопровождается цепочкой рассуждений и источниками, а галлюцинации минимизируются приоритетно. «Врач принимает окончательное решение». Одна из функций уже в клинике - пространственное предупреждение: при бронхоскопии агент может указать, что «бугор» на стенке дыхательных путей на самом деле часть сосуда, и биопсия повредит артерию. Системы CAIR используются более чем в 30 больницах.

🎨 qvabo.studio/tg · картинки и видео

#AI #MedTech #Agents #MultiModal #CAIR

🍏 Selection-Based Structured Reasoning: как Apple ускоряет мультимодальные поисковые агенты

Исследователи Apple ML представили SSR (Selection-based Structured Reasoning) - подход, который заменяет свободную генерацию рассуждений у мультимодальных агентов на выбор из заранее заданных кандидатов.

Проблема: небольшие модели (2B и 4B) тратят ёмкость на длинные цепочки рассуждений, которые мало помогают генерации действий, но сильно увеличивают стоимость инференса. SSR представляет повторяющиеся высокоуровневые рассуждения как предопределённые переиспользуемые natural-language кандидаты. На каждом шаге модель выбирает подходящий вариант по его вероятности с учётом текущего контекста - без вспомогательной task head.

Ключевая техническая деталь: предзаданные reasoning traces допускают параллельное скорингование. Teacher-forced prefilling вычисляет токенные вероятности одновременно внутри кандидатов и между ними через общий KV-кэш контекста.

Оценка на семи мультимодальных поисковых бенчмарках (модели 2B и 4B, RL и SFT) показала: средний success rate сопоставим с ведущими поисковыми агентами того же масштаба, при этом задержка рассуждений на шаг падает более чем на 90%, а общая задержка инференса на вопрос - на 28-54%.

🎨 qvabo.studio/tg · картинки и видео

#AI #Research #MultiModal #Agents #Apple #Inference #ML