🎞 Apple представила TGPO — метод обучения ИИ для понимания временной последовательности в видео

Исследователи Apple ML Research предложили Temporal Global Policy Optimization (TGPO) — алгоритм обучения с подкреплением на основе верифицируемых вознаграждений (RLVR), который решает проблему отсутствия временной осведомлённости у мультимодальных больших языковых моделей (MLLMs) при анализе эгоцентричного видео.

Современные MLLMs хорошо справляются с пониманием отдельных кадров, но часто игнорируют порядок и эволюцию событий — особенно в эгоцентричных сценариях (видео от первого лица). Причина — стандартные функции потерь поощряют пространственные «короткие пути» по кадрам, а не временное рассуждение.

TGPO вводит явное вознаграждение за корректную временную последовательность. Алгоритм оценивает не только финальный ответ модели, но и то, насколько её рассуждения соответствуют хронологии событий в видео. Это позволяет модели научиться различать, например, «сначала надел очки, потом взял чашку» vs. обратный порядок.

Практическое значение: улучшение работы ИИ-ассистентов в дополненной реальности, робототехнике и анализе видеопотоков с носимых устройств, где критично понимание последовательности действий пользователя.

#Tech #Apple #ML #AI #VideoAnalysis #RLVR