StreamVibe

Ассистент от Google по видеопотоку с инициативой: сам решает, когда вмешаться, если просьба была расплывчатой. Обычные системы ждут команды с явным триггером, здесь достаточно цели.

Внутри две части: потоковая модель и обвязка, которая ведет состояние запросов, прогресс и прошлые ответы. Сначала обучение с балансом молчания и речи, затем RL на коротких отрезках вокруг точек помощи.

• Три уровня запроса: явный, неявный и меняющийся по ходу
• Подсказка в нужный момент без напоминания
• Отслеживание прогресса задачи, чтобы не повторяться и не давать устаревшие советы
• Правка просьбы на ходу: добавил, заменил или перебил
• Молчание по умолчанию, слово только в точке помощи

Код/веса ждем

#vlm #assistant #proactive

MAX