🎞 Apple представила TGPO — метод обучения ИИ для понимания временной последовательности в видео
Исследователи Apple ML Research предложили Temporal Global Policy Optimization (TGPO) — алгоритм обучения с подкреплением на основе верифицируемых вознаграждений (RLVR), который решает проблему отсутствия временной осведомлённости у мультимодальных больших языковых моделей (MLLMs) при анализе эгоцентричного видео.
Современные MLLMs хорошо справляются с пониманием отдельных кадров, но часто игнорируют порядок и эволюцию событий — особенно в эгоцентричных сценариях (видео от первого лица). Причина — стандартные функции потерь поощряют пространственные «короткие пути» по кадрам, а не временное рассуждение.
TGPO вводит явное вознаграждение за корректную временную последовательность. Алгоритм оценивает не только финальный ответ модели, но и то, насколько её рассуждения соответствуют хронологии событий в видео. Это позволяет модели научиться различать, например, «сначала надел очки, потом взял чашку» vs. обратный порядок.
Практическое значение: улучшение работы ИИ-ассистентов в дополненной реальности, робототехнике и анализе видеопотоков с носимых устройств, где критично понимание последовательности действий пользователя.
#Tech #Apple #ML #AI #VideoAnalysis #RLVR
Исследователи Apple ML Research предложили Temporal Global Policy Optimization (TGPO) — алгоритм обучения с подкреплением на основе верифицируемых вознаграждений (RLVR), который решает проблему отсутствия временной осведомлённости у мультимодальных больших языковых моделей (MLLMs) при анализе эгоцентричного видео.
Современные MLLMs хорошо справляются с пониманием отдельных кадров, но часто игнорируют порядок и эволюцию событий — особенно в эгоцентричных сценариях (видео от первого лица). Причина — стандартные функции потерь поощряют пространственные «короткие пути» по кадрам, а не временное рассуждение.
TGPO вводит явное вознаграждение за корректную временную последовательность. Алгоритм оценивает не только финальный ответ модели, но и то, насколько её рассуждения соответствуют хронологии событий в видео. Это позволяет модели научиться различать, например, «сначала надел очки, потом взял чашку» vs. обратный порядок.
Практическое значение: улучшение работы ИИ-ассистентов в дополненной реальности, робототехнике и анализе видеопотоков с носимых устройств, где критично понимание последовательности действий пользователя.
#Tech #Apple #ML #AI #VideoAnalysis #RLVR
👍1🎉1
📼 От видео к данным: как ИИ меняет обработку мультимедиа
Видео, которое для человека — просто картинка со звуком, для ИИ-системы превращается в набор структурированных данных. Из одного файла извлекаются речь для транскрипции, лица, сцены, музыка и фоновые шумы — всё это можно индексировать, искать и анализировать автоматически.
На практике это меняет работу с большими медиаархивами: поиск по ключевым словам внутри часов записи, автосубтитры и перевод, модерация контента, аналитика рекламы и мониторинг эфиров в реальном времени. Вместо ручного просмотра команды получают готовые метаданные и таймкоды, пригодные для интеграции в собственные пайплайны.
Ключевой сдвиг — мультимодальность: модели объединяют аудио, видео и текст в единое представление, что открывает сценарии вроде поиска «покажи момент, где обсуждают бюджет» или автоматической нарезки клипов по смыслу. Для разработчиков это означает спрос на API обработки видео и инструменты пайплайнов с GPU.
#AI #Media #VideoAnalysis #ML #Development
Видео, которое для человека — просто картинка со звуком, для ИИ-системы превращается в набор структурированных данных. Из одного файла извлекаются речь для транскрипции, лица, сцены, музыка и фоновые шумы — всё это можно индексировать, искать и анализировать автоматически.
На практике это меняет работу с большими медиаархивами: поиск по ключевым словам внутри часов записи, автосубтитры и перевод, модерация контента, аналитика рекламы и мониторинг эфиров в реальном времени. Вместо ручного просмотра команды получают готовые метаданные и таймкоды, пригодные для интеграции в собственные пайплайны.
Ключевой сдвиг — мультимодальность: модели объединяют аудио, видео и текст в единое представление, что открывает сценарии вроде поиска «покажи момент, где обсуждают бюджет» или автоматической нарезки клипов по смыслу. Для разработчиков это означает спрос на API обработки видео и инструменты пайплайнов с GPU.
#AI #Media #VideoAnalysis #ML #Development