Запись стрима Комфиорг по LipDub

https://www.youtube.com/watch?v=2PEKKU4a924

#tutorial #comfyui

CogOmniControl

Умный контроль генерации контента от Tencent через мультимодальные подсказки, работает с текстом, изображениями, видео.

CogVLM анализирует запрос пользователя (в т. ч. абстрактный или скудный по деталям), распознаёт творческое намерение и преобразует его в детальные инструкции для генерации видео. CogOmniDiT на основе этих инструкций выполняет саму генерацию, согласовывая различные условия через обучение с подкреплением.

• принимает смешанные запросы (текст + изображениеи т. д.)
• генерирует видео по подсказкам разных типов
• точно следует сложным инструкциям с несколькими модальностями
• синхронизирует элементы разных модальностей в одном выходе

github.com/UM-Lab/CogOmniControl - ждем

#vlm #controlnet #multireference #referencing

Marlin-2B

Компактная быстрая VLM для извлечения структурированной информации из видео, конкурирует с Gemini-2.5-flash при объеме всего 2 млрд параметров

marlin.caption() выдает структурированный JSON со сценой и событиями, с таймкодами с точностью до секунд

marlin.find() выдает таймкоды (начало, конец) для любого запроса на естественном языке по видео

huggingface.co/NemoStation/Marlin-2B

vlm.nemostation.com

#vlm

Apple опубликовали код объемного представления сцен LiTo

github.com/apple/ml-lito

Спасибо @Dmitriy_Ru6ts0v

#rendering #novelview #image2scene #3d

KVPO

Фреймворк для авторегрессионной генерации длинных и связных видео без рваности и нестыковок, ближе к пользовательской задумке

• вместо случайного «шума» использует прошлые кадры, так видео получается логичнее
• создаёт разные варианты развития сцены, не теряя общей логики истории
• проверяет, насколько реалистично выглядит движение и развитие сюжета (через Trajectory Velocity Energy, TVE)
• следит, чтобы движение в видео было плавным и естественным (согласовывает с динамикой ODE)

github.com/Richard-Zhang-AI/KVPO

#longvideo #optimization

Извините, неактуально, отстал от жизни. В комментах пишут что может вот тут немножко дадут

https://openart.ai/credit/openart-linkedin-credits

AudioHijack

Метод атаки на госовые модели

Суть метода: в обычное аудио (видео, музыку, звонок) вшиваются скрытые сигналы, которые человек не слышит, а нейросеть воспринимает как приказ. Эти искажения маскируются под естественную реверберацию.

Ключевые факты:
- Успешность: 79–96% на 13 современных моделях.
- Уязвимые сервисы: Microsoft Azure (MAI-Voice), Mistral AI (Voxtral).
- Что может сделать атакующий: заставить модель сливать данные, отправлять письма, скачивать файлы, распространять дезинформацию.
- Где прячется угроза: в видеоконтенте, фоновой музыке, голосовых сообщениях, записях Zoom.
- Реальность угрозы: возможна даже инъекция в реальном времени во время разговора с ИИ.

Почему это опасно:
- Атака не зависит от слов пользователя — достаточно «загрязнить» само аудио.
- Существующие защиты почти не работают: самопроверка выявляет лишь 28% атак, а предварительное обучение снижает успех всего на 7%.

#security

Говорят, это робот для сварных работ на стенах.

А что и на каких стенах ему заваривать? Всех человеков приглашают на интересную лекцию об этом в большой металлический домик пока еще с удобными отверстиями для воздуха и света

#robot

ComPyter

Кастом пак для ComfyUI, который работает как ячейка Jupyter — пишешь Python-код, смотришь результаты, строишь графики, не выходя из интерфейса.

• анализирует входящие тензоры и преобразует их в NumPy
• строит интерактивные графики (например, гистограммы распределения пикселей)
• выполняет сложные вычисления прямо в графе (без зоопарка из 20 нод)
• выводит результаты и передаёт их дальше по пайплайну
• поддерживает импорт любых Python-библиотек

работает в реальном времени, не требует перезапуска воркфлоу, совмещает удобство Jupyter с логикой ComfyUI.

#comfyui #tools #coding