The Attention Triangle

Исследование о том почему в аудио-видео моделях звук прилипает не к тому объекту. Пират молчит, а говорит попугай — модель все равно заставляет говорить пирата. Авторы разобрали механизм утечки и научились его чинить

- Нашли треугольник внимания: три связи между текстом, аудио и видео. Главный источник утечки — двунаправленная связь аудио ↔️ видео
- Интервенция на инференсе: управляют треугольником внимания, чтобы звук прикреплялся к правильному источнику — без переобучения

Проверено на LTX-2. Получили практически бесплатный обходной фикс для уже обученных моделей

Код ждем

#research #attention #t2v #i2v

VK | MAX