HDRFlow: Real-Time HDR Video Reconstruction with Large Motions

Реконструкция в реальном времени HDR видео из видео с переменной экспозицией

Код

#realtive #video #hdr

LTX-Video 13B Control LoRAs

Лоры от Lightrix

Pose
Depth
Canny

LTX-Video-Trainer

#lora #video #text2video #video2video

Lightrix показали небольшой гайд по использованию их лор

Реддит

#lora #video #text2video #video2video #utorial

COPE-VideoLM (Codec Primitives For Efficient Video Language Models)

Microsoft и Stanford создали метод как языковые модели могут понимать видео без обработки каждого кадра. Вместо этого используются более лёгкие для обработки «кирпичики» видео — примитивы кодека, вроде векторов движения и остатков

Время до первого токена (TTFT) сокрщается на 86 %, а использование токенов на 93 % по сравнению со стандартными моделями

Работает с разными типами задач: от ответов на общие вопросы про видео до понимания длинных роликов и следования инструкциям

Это снимает бутылочное горлышко VLM (а может быть и видеогенераторов) — теперь длинные видео должны обрабатываться и отвечать на вопросы о себе ощутимо быстрее и дешевле

База — LLaVA-Video-7B.

Код ждем

#video #llm #optimization

Generated Reality: Human-centric World Simulation using Interactive Video Generation with Hand and Camera Control

Система которая позволяет управлять генерацией видео движением рук в реальном времени. Модель учитывает положение головы и рук пользователя, что позволяет взаимодействовать с виртуальным миром более естественно.

Раньше модели видео-миров понимали только текст или ввод с клавиатуры. Теперь можно показать рукой "вон туда" и получить видео в том направлении.

Пока работает на VR-гарнитуре со скоростью 11 FPS. Пригодится для игр, симуляций и обучения.

Код ждем

#video #VR #realtime #world