🍏 Внутреннее визуальное мышление: новый подход Apple к видеорассуждениям ИИ

Исследователи Apple ML представили Internalized Visual Thinking (IVT) — фреймворк пост-тренировки мультимодальных LLM, который позволяет моделям «думать визуально» на этапе обучения, а не во время инференса.

Современные модели всё чаще используют visual chain-of-thought (Visual CoT): генерируют промежуточные изображения, чтобы рассуждать о пространстве, времени и окружении. Это даёт модели наглядное «мысленное» представление, но создаёт огромную вычислительную нагрузку — критично для проактивного видеорассуждения, где нужно анализировать поток кадров в реальном времени.

IVT решает эту проблему: визуальное мышление переносится на этап обучения, а на инференсе модель рассуждает напрямую, без генерации картинок. Совместная оптимизация текстовых предсказаний и внутренних визуальных представлений сохраняет преимущества Visual CoT, устраняя его главный недостаток. Для разработчиков это шаг к более эффективным видеомоделям, пригодным для робототехники, автономных систем и анализа видеопотоков.

#AI #AppleML #MultiModal #LLM #VideoReasoning #MachineLearning