SkyReels-A3
Анонсировали (или релизнули - непонятно) новый "непревзойденный" оживлятор персонажей по речи / пению.
И зачем-то дали ссылку на пустой репозиторий.
И ссылку на свой сервис где непонятно где искать новую модель.
Умеет создавать длинные ("неограниченно длинные") видео, несколько минут, сохраняя идентичность персонажа.
Умеет создавать профессиональное движение камеры
Гитхаб (пусто)
Попробовать видимо здесь
[UPDATE] Мне показали где он прячется, картинка в коментах. Он только для платных пользователей
#lipsync #portraitanimation #characteranimation #speech2video
Анонсировали (или релизнули - непонятно) новый "непревзойденный" оживлятор персонажей по речи / пению.
И зачем-то дали ссылку на пустой репозиторий.
И ссылку на свой сервис где непонятно где искать новую модель.
Умеет создавать длинные ("неограниченно длинные") видео, несколько минут, сохраняя идентичность персонажа.
Умеет создавать профессиональное движение камеры
Гитхаб (пусто)
Попробовать видимо здесь
[UPDATE] Мне показали где он прячется, картинка в коментах. Он только для платных пользователей
#lipsync #portraitanimation #characteranimation #speech2video
👍6👎2❤1👀1
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
EchoMimicV3
Оживлятор персонажей по голосу на 1.3B параметров на основе Wan 2.1 1.3B.
Что-то там про мультимодальность и мультизадачность в архитектуре говорят.
Умеет делать взаимодействие с объектами, пение.
Выглядит несколько деревянно, но весит всего 3Гб с хвостиком
Код
Веса
#lipsync #portraitanimation #characteranimation #speech2video
Оживлятор персонажей по голосу на 1.3B параметров на основе Wan 2.1 1.3B.
Что-то там про мультимодальность и мультизадачность в архитектуре говорят.
Умеет делать взаимодействие с объектами, пение.
Выглядит несколько деревянно, но весит всего 3Гб с хвостиком
Код
Веса
#lipsync #portraitanimation #characteranimation #speech2video
👎6🔥3🤔2👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Pika audio-driven performance model
Оживлятор картинок по звуку от Pika.
В 20 раз быстрее и дешеле предыдущей модели.
Создает видео за 6 секунд.
Похоже что доступно (или будет доступно) только в мобильном приложении
AppStore
#lipsync #portraitanimation #characteranimation #speech2video #mobile #ios
Оживлятор картинок по звуку от Pika.
В 20 раз быстрее и дешеле предыдущей модели.
Создает видео за 6 секунд.
Похоже что доступно (или будет доступно) только в мобильном приложении
AppStore
#lipsync #portraitanimation #characteranimation #speech2video #mobile #ios
👍2
StableAvatar: Infinite-Length Audio-Driven Avatar Video Generation
🥁🥁🥁 барабанная дробь
И у нас еще один оживлятор картинок по звуку от Microsoft Research Asia, Hunyuan, Tencent
Много примеров с пением, видимо фокус на эту нишу. Но есть и просто речь.
Обещают неограниченный по длительности оживляж с сохранением идентичности персонажа.
Мне кажется или липсинк не такой уж и синк, не попадает в речь?
Ну и конечно есть видео превосходства над #SOTA моделями-конкурентами
Построен на базе Wan2.1-1.3B
Разрешение: 512x512, 480x832, 832x480
5-секундное видео (480x832, fps=25) генерируется 3 минуты на 4090 и требует 18GB VRAM
Код
#lipsync #portraitanimation #characteranimation #speech2video #avatar
🥁🥁🥁 барабанная дробь
И у нас еще один оживлятор картинок по звуку от Microsoft Research Asia, Hunyuan, Tencent
Много примеров с пением, видимо фокус на эту нишу. Но есть и просто речь.
Обещают неограниченный по длительности оживляж с сохранением идентичности персонажа.
Мне кажется или липсинк не такой уж и синк, не попадает в речь?
Ну и конечно есть видео превосходства над #SOTA моделями-конкурентами
Построен на базе Wan2.1-1.3B
Разрешение: 512x512, 480x832, 832x480
5-секундное видео (480x832, fps=25) генерируется 3 минуты на 4090 и требует 18GB VRAM
Код
#lipsync #portraitanimation #characteranimation #speech2video #avatar
👍6🔥4❤1
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
MoDA: Multi-modal Diffusion Architecture for Talking Head Generation
Оживлятор портретов по звуку с контролем эмоций от Alibaba
Умеет делать длинные видео, в примерах есть 4 минуты
Шевелит только голову.
Зубы шакалит, в остальном сойдет
Код
HF
Демо 1
Демо 2
Демо 3
#talkinghead #portraitanimation #speech2video
Оживлятор портретов по звуку с контролем эмоций от Alibaba
Умеет делать длинные видео, в примерах есть 4 минуты
Шевелит только голову.
Зубы шакалит, в остальном сойдет
Код
HF
Демо 1
Демо 2
Демо 3
#talkinghead #portraitanimation #speech2video
👎9👍3😈1
This media is not supported in your browser
VIEW IN TELEGRAM
OmniHuman-1.5: Instilling an Active Mind in Avatars via Cognitive Simulation
Новая версия оживлятора от ByteDance, снова без кода
На вход подаем картинку и аудиозапись речи. На выходе - видео
Модель использует теорию когнитивного мышления «Система 1 и Система 2», объединяя мультимодальную языковую модель и диффузионный трансформер для имитации двух режимов мышления: медленного, обдуманного планирования и быстрого, интуитивного реагирования.
— согласует анимацию с ритмом, просодией и семантическим содержанием речи
— Контроль генерации, движения камеры и конкретных действий через текстовые промпты
— Умеет создавать мультиперсонажные сцены, сам распределяет аудиодорожки
Такое добро — и только посмотреть. Это так несправедливо. Какое несчастье🤩
#lipsync #speech2video #characteranimation #portraitanimation #avatar #research
Новая версия оживлятора от ByteDance, снова без кода
На вход подаем картинку и аудиозапись речи. На выходе - видео
Модель использует теорию когнитивного мышления «Система 1 и Система 2», объединяя мультимодальную языковую модель и диффузионный трансформер для имитации двух режимов мышления: медленного, обдуманного планирования и быстрого, интуитивного реагирования.
— согласует анимацию с ритмом, просодией и семантическим содержанием речи
— Контроль генерации, движения камеры и конкретных действий через текстовые промпты
— Умеет создавать мультиперсонажные сцены, сам распределяет аудиодорожки
Такое добро — и только посмотреть. Это так несправедливо. Какое несчастье
#lipsync #speech2video #characteranimation #portraitanimation #avatar #research
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10
CAP4D: Creating Animatable 4D Portrait Avatars with Morphable Multi-View Diffusion Models
Создание анимируемых портретных 4D-аватаров. Модель способна генерировать реалистичные 4D-аватары на основе любого количества эталонных изображений
Рендерится в реальном времени
На первом этапе создает много изображений с разных ракурсов при помощи SD 2.1. Далее собирает собственно 4D модель.
Под капотом 3D трекер лица FlowFace (код ждем), FLAME для выражений лица, GaussianAvatars для деформируемой головы на гауссианах
Аватар можно редактировать внешними средствами - упомянуты Stable-Makeup и IC-Light
Плюс ко всему, аватар может управляться звуком речи
Код - FlowFace работает в демо-режиме, только с лицами из демо-набора
#humanavatar #gaussian #head #portraitanimation #tracking #pose
Создание анимируемых портретных 4D-аватаров. Модель способна генерировать реалистичные 4D-аватары на основе любого количества эталонных изображений
Рендерится в реальном времени
На первом этапе создает много изображений с разных ракурсов при помощи SD 2.1. Далее собирает собственно 4D модель.
Под капотом 3D трекер лица FlowFace (код ждем), FLAME для выражений лица, GaussianAvatars для деформируемой головы на гауссианах
Аватар можно редактировать внешними средствами - упомянуты Stable-Makeup и IC-Light
Плюс ко всему, аватар может управляться звуком речи
Код - FlowFace работает в демо-режиме, только с лицами из демо-набора
#humanavatar #gaussian #head #portraitanimation #tracking #pose
🔥6👍5❤1😁1
Dreamina AI Avatars
Dreamina запустила функцию оживления портрета по звуку и промпту.
Работает с людьми, животными, аниме и др.
——————————————
А также делали бесплатный доступ к Seedream 4.0 до 9 октября.
Но только для правильных стран. Заходите через 3 буквы. Польша не подошла
#portraitanimation #characteranimation #avatar #speech2video #image2video #humanavatar #text2image
Dreamina запустила функцию оживления портрета по звуку и промпту.
Работает с людьми, животными, аниме и др.
——————————————
А также делали бесплатный доступ к Seedream 4.0 до 9 октября.
Но только для правильных стран. Заходите через 3 буквы. Польша не подошла
#portraitanimation #characteranimation #avatar #speech2video #image2video #humanavatar #text2image
👍6
Lookahead Anchoring: Preserving Character Identity in Audio-Driven Human Animation
Метод оживления портретов по аудио, фокус на удержании идентичности от KAIST
Код ждем
#portraitanimation #characteranimation #image2video #personalization #audio2video #speech2video
Метод оживления портретов по аудио, фокус на удержании идентичности от KAIST
Код ждем
#portraitanimation #characteranimation #image2video #personalization #audio2video #speech2video
🔥9👍5
UniAVGen: Unified Audio and Video Generation with Asymmetric Cross-Modal Interactions
Система одновременной генерации аудио и видео / оживлятор портретов / липсинк
— генерирует аудио и видео с хорошей синхронизацией
— создаёт контент на основе изображения, описания и речи
— учитывает тембр с помощью референсного аудио
— продолжает и озвучивает видео, синтезирует видео по аудио.
В качестве базовой модели для видеоветви используется Wan 2.2-5B, а для аудиоветви — архитектурный шаблон Wan 2.1-1.3B
На видео с девушкой - это реальное видео и видео с догенеренной концовкой
Кода нет
#chracteranimation #lipsync #portraitanimation #video2video #speech2video #talkinghead
Система одновременной генерации аудио и видео / оживлятор портретов / липсинк
— генерирует аудио и видео с хорошей синхронизацией
— создаёт контент на основе изображения, описания и речи
— учитывает тембр с помощью референсного аудио
— продолжает и озвучивает видео, синтезирует видео по аудио.
В качестве базовой модели для видеоветви используется Wan 2.2-5B, а для аудиоветви — архитектурный шаблон Wan 2.1-1.3B
На видео с девушкой - это реальное видео и видео с догенеренной концовкой
Кода нет
#chracteranimation #lipsync #portraitanimation #video2video #speech2video #talkinghead
👍7🔥6
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
FlashPortrait: 6× Faster Infinite Portrait Animation with Adaptive Latent Prediction
Оживлятор портретов от Microsoft и WAN на базе Wan2.1-14B
Умеет делать бесконечную анимацию, сохраняя при этом черты лица человека.
Справляется с большими и сложными движениями лица, не теряя качества
Плавно соединяет фрагменты видео, чтобы переходы были незаметными
Вот тут забавно:
Но:
И кажется кто-то выложил все видео без звука
Гитхаб
HF
спасибо @m_franz
#portraitanimation
Оживлятор портретов от Microsoft и WAN на базе Wan2.1-14B
Умеет делать бесконечную анимацию, сохраняя при этом черты лица человека.
Работает в 6 раз быстрее аналогов.
Справляется с большими и сложными движениями лица, не теряя качества
Плавно соединяет фрагменты видео, чтобы переходы были незаметными
Вот тут забавно:
FlashPortrait поддерживает создание видеороликов бесконечной длины с разрешением 480x832, или 832x480, или 512x512, или 720x720, или 720x1280, или 1280x720
Но:
Если у вас возникнут проблемы с нехваткой памяти, вы можете соответствующим образом уменьшить количество анимированных кадров или разрешение выходных данных.
И кажется кто-то выложил все видео без звука
Гитхаб
HF
спасибо @m_franz
#portraitanimation
🔥13👍7
This media is not supported in your browser
VIEW IN TELEGRAM
LiveTalk: Real-Time Multimodal Interactive Video Diffusion via Improved On-Policy Distillation
Рилтаймовый аватар-оживлятор портретов на базе WAN 1.3B
На вход принимает картинку, звук, текст
Работает на дистилляции диффузии с ускорением в 20 раз. Нужно от 24ГБ VRAM, выдает 24.8 fps
Гитхаб
HF
#talkinghead #avatar #characteranimation #portraitanimation #realtime
Рилтаймовый аватар-оживлятор портретов на базе WAN 1.3B
На вход принимает картинку, звук, текст
Работает на дистилляции диффузии с ускорением в 20 раз. Нужно от 24ГБ VRAM, выдает 24.8 fps
Гитхаб
HF
#talkinghead #avatar #characteranimation #portraitanimation #realtime
👍8🥴7❤2🔥2👀1
Avatar Forcing: Real-Time Interactive Head Avatar Generation for Natural Conversation
Рилтаймовый аватар головы от KAIST. Рилтайм на H100, 14GB
Генерирует движения аватара в реальном времени с низкой задержкой (около 500 мс)
Реагирует на аудио- и видеосигналы пользователя, включая речь, кивки и смех
Код ждем
#avatar #humanavaatr #talkinghead #realtime #portraitanimation
Рилтаймовый аватар головы от KAIST. Рилтайм на H100, 14GB
Генерирует движения аватара в реальном времени с низкой задержкой (около 500 мс)
Реагирует на аудио- и видеосигналы пользователя, включая речь, кивки и смех
Код ждем
#avatar #humanavaatr #talkinghead #realtime #portraitanimation
🔥13❤1🍌1
gallery-vgm.webm
4.7 MB
GeoDiff4D: Geometry-Aware Diffusion for 4D Head Avatar Reconstruction
Реконструкция и 4D-аватар головы от ByteDance по одному фото на базе X-NeMo и CAP4D
Использует диффузионную модель и учитывает геометрию
Выдает не только видео, но и нормали
Даёшь референсное изображение - получаешь аватар которым можно управлять: менять выражение лица, поворот головы. Работает и с реальными людьми, и с мультяшными персонажами.
Код ждем
#head #avatar #imageto4d #4d #portraitanimation #normal
Реконструкция и 4D-аватар головы от ByteDance по одному фото на базе X-NeMo и CAP4D
Использует диффузионную модель и учитывает геометрию
Выдает не только видео, но и нормали
Даёшь референсное изображение - получаешь аватар которым можно управлять: менять выражение лица, поворот головы. Работает и с реальными людьми, и с мультяшными персонажами.
Код ждем
#head #avatar #imageto4d #4d #portraitanimation #normal
🔥3👍1
QuickMagic
Сервис мокапа по видео, есть бесплатный тариф
Отслеживает одного или несколько человек
Есть настройка начальной позы
Экспорт в FBX, Mixamo, VMD, BIP и другие форматы
————
Magic Avatar
На том же движке захвата видимо - анимируемые аваты, оживлятор портретов.
#mocap #online #avatar #portraitanimation #characteranimation
Сервис мокапа по видео, есть бесплатный тариф
Отслеживает одного или несколько человек
Есть настройка начальной позы
Экспорт в FBX, Mixamo, VMD, BIP и другие форматы
————
Magic Avatar
На том же движке захвата видимо - анимируемые аваты, оживлятор портретов.
#mocap #online #avatar #portraitanimation #characteranimation
❤4👍1🔥1
CompHairHead: One-shot Compositional 3D Head Avatars with Deformable Hair
3D-аватар головы с динамическими волосами по одной фотографии, рилтайм
Гитхаб ждем
#head #avatar #hair #portraitanimation #realtime
3D-аватар головы с динамическими волосами по одной фотографии, рилтайм
Гитхаб ждем
#head #avatar #hair #portraitanimation #realtime
👍7😁2🤔1
This media is not supported in your browser
VIEW IN TELEGRAM
C-MET: Cross-Modal Emotion Transfer for Emotion Editing in Talking Face Video
Редактирование эмоций в видео с говорящим лицом с помощью текстовых, аудио- или видеоподсказок. Выравнивание на основе CLIP. Превосходит SadTalker и EDTalk
Гитхаб
HF
Демо
#portraitanimation #lipsync #talkinghead
Редактирование эмоций в видео с говорящим лицом с помощью текстовых, аудио- или видеоподсказок. Выравнивание на основе CLIP. Превосходит SadTalker и EDTalk
Гитхаб
HF
Демо
#portraitanimation #lipsync #talkinghead
👍4🔥2
P-Video-Avatar
Аватарошная от Pruna AI
Анимирует портрет, синхронизирует губы с аудио или текстом.
• анимирует статичное портретное фото
• озвучивает текст 30 голосами на 10 языках
• синхронизирует движение губ с аудио
• принимает голосовой промпт для речи и видеореференс для движения
Разрешение 720p ($0,025/сек) или 1080p ($0,045/сек). Поддерживает JPG, JPEG, PNG, WEBP → MP4
Да, все платное, увы
API
Replicate
#talkinghead #portraitanimation #avatar #lipsync #talkinghead
Аватарошная от Pruna AI
Анимирует портрет, синхронизирует губы с аудио или текстом.
• анимирует статичное портретное фото
• озвучивает текст 30 голосами на 10 языках
• синхронизирует движение губ с аудио
• принимает голосовой промпт для речи и видеореференс для движения
Разрешение 720p ($0,025/сек) или 1080p ($0,045/сек). Поддерживает JPG, JPEG, PNG, WEBP → MP4
Да, все платное, увы
API
Replicate
#talkinghead #portraitanimation #avatar #lipsync #talkinghead
👍5
This media is not supported in your browser
VIEW IN TELEGRAM
Wan-Dancer
Генератор танца по музыкеи фото
Работает с минутными фрагментами что редкость для танцевальных генераторов. Упор на плавную эволюцию поз, а не на отдельные кадры.
• Разрешение 720p при 30 кадрах в секунду
• Поддержка пяти стилей танца: классический китайский, K-pop, уличный, степ, латинский
• иерархическая структура, держит ритм и стиль по всему треку
• когерентные движения на длинных отрезках, без рывков и сбоев
• мультимодальная обработка. музыка плюс кинематика тела
Wan-Dancer
Отбой, для работы требует 8 x NVIDIA A800 80GB
Гитхаб
HF
Демо
Спасибо @m_franz
#humananimation #image2video #portraitanimation #image2dance
Генератор танца по музыкеи фото
Работает с минутными фрагментами что редкость для танцевальных генераторов. Упор на плавную эволюцию поз, а не на отдельные кадры.
• Разрешение 720p при 30 кадрах в секунду
• Поддержка пяти стилей танца: классический китайский, K-pop, уличный, степ, латинский
• иерархическая структура, держит ритм и стиль по всему треку
• когерентные движения на длинных отрезках, без рывков и сбоев
• мультимодальная обработка. музыка плюс кинематика тела
Wan-Dancer
Отбой, для работы требует 8 x NVIDIA A800 80GB
Гитхаб
HF
Демо
Спасибо @m_franz
#humananimation #image2video #portraitanimation #image2dance
😁27😱10🤷♂1❤1
This media is not supported in your browser
VIEW IN TELEGRAM
OmniHuman 2.0
Оживлятор фото персонажа по аудио - с синхронизацией губ, мимикой, жестами и движением тела. Подходит для виртуальных ведущих, интервью, подкастов, образовательных роликов и рекламы.
Что нового во 2.0
• Длительность: до 300 секунд непрерывной генерации вместо 60, без склейки фрагментов
• Аудио: речь, диалоги и музыка. Синхронизация губ, мимика и жесты учитывают интонации, эмоции и смысл
• Управление: действия персонажа и движение камеры задаются текстовым промптом
• Цена: с $0.12 до $0.07 за секунду, то есть -41.7%
• 5-минутный ролик — около $21
• Понимание смысла речи было уже в версии 1.5
Главные изменения — пятикратный рост максимальной длительности и снижение цены. Диалоги и музыка на входе поддерживаются наравне с речью
byteplus.com/en/product/OmniHuman
#lipsync #speech2video #characteranimation #portraitanimation #avatar
MAX
Оживлятор фото персонажа по аудио - с синхронизацией губ, мимикой, жестами и движением тела. Подходит для виртуальных ведущих, интервью, подкастов, образовательных роликов и рекламы.
Что нового во 2.0
• Длительность: до 300 секунд непрерывной генерации вместо 60, без склейки фрагментов
• Аудио: речь, диалоги и музыка. Синхронизация губ, мимика и жесты учитывают интонации, эмоции и смысл
• Управление: действия персонажа и движение камеры задаются текстовым промптом
• Цена: с $0.12 до $0.07 за секунду, то есть -41.7%
• 5-минутный ролик — около $21
• Понимание смысла речи было уже в версии 1.5
Главные изменения — пятикратный рост максимальной длительности и снижение цены. Диалоги и музыка на входе поддерживаются наравне с речью
byteplus.com/en/product/OmniHuman
#lipsync #speech2video #characteranimation #portraitanimation #avatar
MAX
🔥1