gallery-vgm.webm
4.7 MB
GeoDiff4D: Geometry-Aware Diffusion for 4D Head Avatar Reconstruction
Реконструкция и 4D-аватар головы от ByteDance по одному фото на базе X-NeMo и CAP4D
Использует диффузионную модель и учитывает геометрию
Выдает не только видео, но и нормали
Даёшь референсное изображение - получаешь аватар которым можно управлять: менять выражение лица, поворот головы. Работает и с реальными людьми, и с мультяшными персонажами.
Код ждем
#head #avatar #imageto4d #4d #portraitanimation #normal
Реконструкция и 4D-аватар головы от ByteDance по одному фото на базе X-NeMo и CAP4D
Использует диффузионную модель и учитывает геометрию
Выдает не только видео, но и нормали
Даёшь референсное изображение - получаешь аватар которым можно управлять: менять выражение лица, поворот головы. Работает и с реальными людьми, и с мультяшными персонажами.
Код ждем
#head #avatar #imageto4d #4d #portraitanimation #normal
🔥3👍1
Runway Characters
Платформа для создания виртуальных собеседников, которых можно добавить на сайт или в приложение с помощью API.
На вход картинка, голос, информационная база. На выходе ассистент-консультант с которым можно говорить в реальном времени
#avatar #assistant #realtime #dialog
Нейронавт в MAX
Платформа для создания виртуальных собеседников, которых можно добавить на сайт или в приложение с помощью API.
На вход картинка, голос, информационная база. На выходе ассистент-консультант с которым можно говорить в реальном времени
#avatar #assistant #realtime #dialog
Нейронавт в MAX
🔥4
AGORA
Проект над которым работал наш подписчик @ramazan2k
Генерация анимируемых 3D аватаров голов на 3DGS, работает в реальном времени прямо на телефоне (60 FPS), обучается только на обычных 2D фотках без видео и multi-view.
Гитхаб - Код ждем до конца мая после ревью
#avatar #head #gaussian #portrainanimation #image2avatar
Проект над которым работал наш подписчик @ramazan2k
Генерация анимируемых 3D аватаров голов на 3DGS, работает в реальном времени прямо на телефоне (60 FPS), обучается только на обычных 2D фотках без видео и multi-view.
Гитхаб - Код ждем до конца мая после ревью
#avatar #head #gaussian #portrainanimation #image2avatar
🔥19👍4⚡1
MATCH: Feed-forward Gaussian Registration for Head Avatar Creation and Editing
Создание и редактирование аватаров голов на гауссианах с помощью мультивидовых изображений. Работа с участие Гугла
Создаёт аватары за 0,5 секунды на кадр
Позволяет редактировать аватары, переносить выражения лица, делать интерполяцию образов, то есть создание промежуточных образов между разными людьми.
Гитхаб ждем
#avatar #head #gaussian #portrainanimation #image2avatar
Создание и редактирование аватаров голов на гауссианах с помощью мультивидовых изображений. Работа с участие Гугла
Создаёт аватары за 0,5 секунды на кадр
Позволяет редактировать аватары, переносить выражения лица, делать интерполяцию образов, то есть создание промежуточных образов между разными людьми.
Гитхаб ждем
#avatar #head #gaussian #portrainanimation #image2avatar
🔥7
AvatarPointillist
Проект от HKUST, создание динамических фотореалистичных и управляемых 4D-аватаров на гауссианах из одного портретного изображения
Предсказывает информацию о привязке для анимации
Преобразует точки в рендерные атрибуты с помощью Gaussian декодера
Гитхаб ждем
#avatar #head #gaussian #portrainanimation #image2avatar
Проект от HKUST, создание динамических фотореалистичных и управляемых 4D-аватаров на гауссианах из одного портретного изображения
Предсказывает информацию о привязке для анимации
Преобразует точки в рендерные атрибуты с помощью Gaussian декодера
Гитхаб ждем
#avatar #head #gaussian #portrainanimation #image2avatar
👍10❤1
QuickMagic
Сервис мокапа по видео, есть бесплатный тариф
Отслеживает одного или несколько человек
Есть настройка начальной позы
Экспорт в FBX, Mixamo, VMD, BIP и другие форматы
————
Magic Avatar
На том же движке захвата видимо - анимируемые аваты, оживлятор портретов.
#mocap #online #avatar #portraitanimation #characteranimation
Сервис мокапа по видео, есть бесплатный тариф
Отслеживает одного или несколько человек
Есть настройка начальной позы
Экспорт в FBX, Mixamo, VMD, BIP и другие форматы
————
Magic Avatar
На том же движке захвата видимо - анимируемые аваты, оживлятор портретов.
#mocap #online #avatar #portraitanimation #characteranimation
❤4👍1🔥1
CompHairHead: One-shot Compositional 3D Head Avatars with Deformable Hair
3D-аватар головы с динамическими волосами по одной фотографии, рилтайм
Гитхаб ждем
#head #avatar #hair #portraitanimation #realtime
3D-аватар головы с динамическими волосами по одной фотографии, рилтайм
Гитхаб ждем
#head #avatar #hair #portraitanimation #realtime
👍7😁2🤔1
Media is too big
VIEW IN TELEGRAM
FastGHA
Метод создания 3D-аватаров голов с анимацией в реальном времени от Disney - без кода, просто хвастаются
Создают качественные аватары по нескольким фотографиям. Переносят анимацию с референса
Под капотом гауссианы, DINOv3 и Stable Diffusion VAE
#gaussian #head #avatar #realtime #research
Метод создания 3D-аватаров голов с анимацией в реальном времени от Disney - без кода, просто хвастаются
Создают качественные аватары по нескольким фотографиям. Переносят анимацию с референса
Под капотом гауссианы, DINOv3 и Stable Diffusion VAE
#gaussian #head #avatar #realtime #research
👍6
P-Video-Avatar
Аватарошная от Pruna AI
Анимирует портрет, синхронизирует губы с аудио или текстом.
• анимирует статичное портретное фото
• озвучивает текст 30 голосами на 10 языках
• синхронизирует движение губ с аудио
• принимает голосовой промпт для речи и видеореференс для движения
Разрешение 720p ($0,025/сек) или 1080p ($0,045/сек). Поддерживает JPG, JPEG, PNG, WEBP → MP4
Да, все платное, увы
API
Replicate
#talkinghead #portraitanimation #avatar #lipsync #talkinghead
Аватарошная от Pruna AI
Анимирует портрет, синхронизирует губы с аудио или текстом.
• анимирует статичное портретное фото
• озвучивает текст 30 голосами на 10 языках
• синхронизирует движение губ с аудио
• принимает голосовой промпт для речи и видеореференс для движения
Разрешение 720p ($0,025/сек) или 1080p ($0,045/сек). Поддерживает JPG, JPEG, PNG, WEBP → MP4
Да, все платное, увы
API
Replicate
#talkinghead #portraitanimation #avatar #lipsync #talkinghead
👍5
LongCat-Video-Avatar 1.5
Обновилась модель от Meituan для создания видео с говорящими аватарами
• превращает фото в видео с говорящим персонажем
• синхронизирует движение губ с аудио (использует Whisper‑Large)
• работает с людьми, аниме‑персонажами, животными
• генерирует видео по аудио + текст (AT2V), аудио + текст + изображение (ATI2V)
• продолжает существующие видео (Video Continuation)
• выдаёт стабильное изображение, сохраняет идентичность персонажа в длинных роликах
Лицензия MIT, оптимизирована через DMD2‑based step distillation (8 NFE), поддерживает одно‑ и многопоточное аудио.
github.com/meituan-longcat/LongCat-Video
huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5
#ati2v #at2v #avatar #longvideo #characteranimation #speech2animation #image2video #lipsync
Обновилась модель от Meituan для создания видео с говорящими аватарами
• превращает фото в видео с говорящим персонажем
• синхронизирует движение губ с аудио (использует Whisper‑Large)
• работает с людьми, аниме‑персонажами, животными
• генерирует видео по аудио + текст (AT2V), аудио + текст + изображение (ATI2V)
• продолжает существующие видео (Video Continuation)
• выдаёт стабильное изображение, сохраняет идентичность персонажа в длинных роликах
Лицензия MIT, оптимизирована через DMD2‑based step distillation (8 NFE), поддерживает одно‑ и многопоточное аудио.
github.com/meituan-longcat/LongCat-Video
huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5
#ati2v #at2v #avatar #longvideo #characteranimation #speech2animation #image2video #lipsync
👍6🔥4
Wan Streamer
Потоковая интерактивная дуплексная аудио-видео модель, ИИ-аватар, отвечающий в рилтайме. Закрывает разрыв между речью и анимацией аватара - всё в одном потоке. В базе в качестве LLM Qwen 2.5 / Qwen 3 - непонятно какая конкретно
• субсекундная задержка, 25 fps, 192p
• full-duplex режим
• синхронные мимика, взгляд, жесты, дыхание
• единая модель вместо раздельных VAD/ASR/TTS
Кода-весов нет
#avatar #intereactive
Потоковая интерактивная дуплексная аудио-видео модель, ИИ-аватар, отвечающий в рилтайме. Закрывает разрыв между речью и анимацией аватара - всё в одном потоке. В базе в качестве LLM Qwen 2.5 / Qwen 3 - непонятно какая конкретно
• субсекундная задержка, 25 fps, 192p
• full-duplex режим
• синхронные мимика, взгляд, жесты, дыхание
• единая модель вместо раздельных VAD/ASR/TTS
Кода-весов нет
#avatar #intereactive
🤔8🔥5👍2
Wan-Streamer v0.2
Повысили разрешение с 192×336 до 640×368, сохранив скороость.
Для этого переработали архитектуру генератора латентных представлений для мульти-GPU
Расширили возможности визуального формата. Теперь работает не только с крупными планами, но и со сценами, где важна общая картина взаимодействия
Кода и весов по прежнему нет
#avatar #intereactive #realtime #streaming #research
Повысили разрешение с 192×336 до 640×368, сохранив скороость.
Для этого переработали архитектуру генератора латентных представлений для мульти-GPU
Расширили возможности визуального формата. Теперь работает не только с крупными планами, но и со сценами, где важна общая картина взаимодействия
Кода и весов по прежнему нет
#avatar #intereactive #realtime #streaming #research
🔥5👍3❤1
Media is too big
VIEW IN TELEGRAM
Vidu S1
генерация видео с голосовым управлением в реальном времени от Vidu
- Управление голосом: можно генерировать и менять видео через голосовые команды.
- Бесконечный стрим: видео генерируется непрерывно
- Разрешение 540p, 25 FPS на стандартных GPU
Попробовать
API
#realtime #avatar #personalization #streaming #lipsync
генерация видео с голосовым управлением в реальном времени от Vidu
- Управление голосом: можно генерировать и менять видео через голосовые команды.
- Бесконечный стрим: видео генерируется непрерывно
- Разрешение 540p, 25 FPS на стандартных GPU
Попробовать
API
#realtime #avatar #personalization #streaming #lipsync
👍6❤1
Wan-Streamer v0.3
Новая версия интерактивного аудио-видео-генератора
Отличия v0.3 от v0.2:
• v0.3 более универсальная модель, с более выразительным поведением агента
• в v0.3 добавлено свободное поведение и действия, описываемые естественным языком
• разрешение и скорость прежние: 640×368, 25 fps
• v0.3 использует предварительное обучение на видео с последующим адаптацией к взаимодействию, тогда как v0.2 фокусировалась на данных взаимодействия
• новая версия позволяет смешивать речь и действия в одной временной последовательности, их синхронизация учится вместе и генерируется напрямую
И по-прежнему неизвестно будет ли опенсорс
Спасибо @m_franz
#avatar #intereactive #realtime #streaming #research
Новая версия интерактивного аудио-видео-генератора
Отличия v0.3 от v0.2:
• v0.3 более универсальная модель, с более выразительным поведением агента
• в v0.3 добавлено свободное поведение и действия, описываемые естественным языком
• разрешение и скорость прежние: 640×368, 25 fps
• v0.3 использует предварительное обучение на видео с последующим адаптацией к взаимодействию, тогда как v0.2 фокусировалась на данных взаимодействия
• новая версия позволяет смешивать речь и действия в одной временной последовательности, их синхронизация учится вместе и генерируется напрямую
И по-прежнему неизвестно будет ли опенсорс
Спасибо @m_franz
#avatar #intereactive #realtime #streaming #research
🔥6❤2👀2👍1
Vidu One-click MV
Vidu релизнул однокликовое создание музыкальных видео из загруженного юзером трека с референсом персонажа
Поют все: люди, мультяшные персонажи, плюшевые игрушки, обычные предметы
Заявлен идеальный липсинк для соло и дуэтов
• готовые шаблоны под разные жанры
• разрешение до 1080p
• скорость генерации пара минут
Попробовать
———
Vidu S1 теперь создает рилтайм видеоперсонажей. Им можно давать команды, шерить экран. Предлагают попробовать в качестве комментатора вашего геймплея
Разрешение 540P, частота кадров 25 FPS в реальном времени (до 42 FPS)
Попробовать
#musicvideo #music2video #lipsync #referencing #realtime #avatar #companion
Vidu релизнул однокликовое создание музыкальных видео из загруженного юзером трека с референсом персонажа
Поют все: люди, мультяшные персонажи, плюшевые игрушки, обычные предметы
Заявлен идеальный липсинк для соло и дуэтов
• готовые шаблоны под разные жанры
• разрешение до 1080p
• скорость генерации пара минут
Попробовать
———
Vidu S1 теперь создает рилтайм видеоперсонажей. Им можно давать команды, шерить экран. Предлагают попробовать в качестве комментатора вашего геймплея
Разрешение 540P, частота кадров 25 FPS в реальном времени (до 42 FPS)
Попробовать
#musicvideo #music2video #lipsync #referencing #realtime #avatar #companion
👍7👎2
Vidu S2
Рилтайм видео, с которым можно говорить, управлять и редактировать в потоке
S2-Avatar
720p аватар в реальном времени (25-42 FPS). Голосовое управление, диалог с прерываниями, взаимодействие с предметами по референсу. Вход: микрофон + картинка → на выходе живой аватар, который реагирует и отвечает
S2-Editing
редактирование видеопотока в реальном времени — стиль, виртуальная примерка, замена персонажа и фона. Подаёшь видео → меняешь референс по ходу → стрим перерисовывается без остановки
- Синхронная генерация: онлайн-аватары с голосовым взаимодействием
- Асинхронная: картинка + аудио → готовый ролик с липсинком и движением
- Spatial video: превращение и аватаров, и редактированного видео в VR-формат
API
#realtime #interactive #streaming #videoediting #avatar #vr
VK | MAX
Рилтайм видео, с которым можно говорить, управлять и редактировать в потоке
S2-Avatar
720p аватар в реальном времени (25-42 FPS). Голосовое управление, диалог с прерываниями, взаимодействие с предметами по референсу. Вход: микрофон + картинка → на выходе живой аватар, который реагирует и отвечает
S2-Editing
редактирование видеопотока в реальном времени — стиль, виртуальная примерка, замена персонажа и фона. Подаёшь видео → меняешь референс по ходу → стрим перерисовывается без остановки
- Синхронная генерация: онлайн-аватары с голосовым взаимодействием
- Асинхронная: картинка + аудио → готовый ролик с липсинком и движением
- Spatial video: превращение и аватаров, и редактированного видео в VR-формат
API
#realtime #interactive #streaming #videoediting #avatar #vr
VK | MAX
👍5❤2⚡2😭2🫡1
Кстати летом релизнулся код анимируемых 3D аватаров голов на 3DGS от подписчика
Гитхаб
#avatar #head #gaussian #portrainanimation #image2avatar
MAX
Гитхаб
#avatar #head #gaussian #portrainanimation #image2avatar
MAX
Telegram
Нейронавт | Нейросети в творчестве
AGORA
Проект над которым работал наш подписчик @ramazan2k
Генерация анимируемых 3D аватаров голов на 3DGS, работает в реальном времени прямо на телефоне (60 FPS), обучается только на обычных 2D фотках без видео и multi-view.
Гитхаб - Код ждем до конца…
Проект над которым работал наш подписчик @ramazan2k
Генерация анимируемых 3D аватаров голов на 3DGS, работает в реальном времени прямо на телефоне (60 FPS), обучается только на обычных 2D фотках без видео и multi-view.
Гитхаб - Код ждем до конца…
👍9
This media is not supported in your browser
VIEW IN TELEGRAM
Gemini 3.8 Live с Live Avatar
Google вывел в общий доступ Gemini 3.8 Live — модель для живого диалога с нативной потоковой видео-аватаркой. Аватар дает визуальное присутствие в реальном времени, общение становится ближе к разговору с человеком
• Живой диалог с низкой задержкой
• Видеопоток аватара синхронизирован с речью
• Расширенное мышление — Extended Thinking для сложных задач
• 97 языков, SynthID-ватермарки
• US и EU эндпоинты, enterprise-комплаенс, строгий контроль данных
Где доступно
Gemini Enterprise и API
Подходит для enterprise-сценариев, где нужен естественный разговорный ИИ с визуальным присутствием
#avatar #realtime
MAX
Google вывел в общий доступ Gemini 3.8 Live — модель для живого диалога с нативной потоковой видео-аватаркой. Аватар дает визуальное присутствие в реальном времени, общение становится ближе к разговору с человеком
• Живой диалог с низкой задержкой
• Видеопоток аватара синхронизирован с речью
• Расширенное мышление — Extended Thinking для сложных задач
• 97 языков, SynthID-ватермарки
• US и EU эндпоинты, enterprise-комплаенс, строгий контроль данных
Где доступно
Gemini Enterprise и API
Подходит для enterprise-сценариев, где нужен естественный разговорный ИИ с визуальным присутствием
#avatar #realtime
MAX
👍4😁4
This media is not supported in your browser
VIEW IN TELEGRAM
Tavus Griffin
Первый «Human Interaction Model» (#HIM) от Tavus — модель для живых видеозвонков, которая понимает и воспроизводит реальное face-to-face общение. Слушает, пока говорит, следит за мимикой и паузами, а не только словами.
• Полный дуплекс: слышит и реагирует одновременно
• Говорит «мм-хм» пока ты ещё говоришь
• Перебивает, кивает, реагирует на то, что видит
• Сам решает по под-секундам: говорить, реагировать или ждать
• Отвечает без пауз-тишины, останавливается, если ты вклинился
• 48% собеседников приняли за живого человека за минутный звонок
• #1 в независимом тесте NVIDIA среди face-to-face AI
• +37% к следующей лучшей модели по мгновенной реакции
Eже доступен части тестеров, мощная версия — следом
#dialog #avatar
MAX
Первый «Human Interaction Model» (#HIM) от Tavus — модель для живых видеозвонков, которая понимает и воспроизводит реальное face-to-face общение. Слушает, пока говорит, следит за мимикой и паузами, а не только словами.
• Полный дуплекс: слышит и реагирует одновременно
• Говорит «мм-хм» пока ты ещё говоришь
• Перебивает, кивает, реагирует на то, что видит
• Сам решает по под-секундам: говорить, реагировать или ждать
• Отвечает без пауз-тишины, останавливается, если ты вклинился
• 48% собеседников приняли за живого человека за минутный звонок
• #1 в независимом тесте NVIDIA среди face-to-face AI
• +37% к следующей лучшей модели по мгновенной реакции
Eже доступен части тестеров, мощная версия — следом
#dialog #avatar
MAX
👍9❤3
This media is not supported in your browser
VIEW IN TELEGRAM
OmniHuman 2.0
Оживлятор фото персонажа по аудио - с синхронизацией губ, мимикой, жестами и движением тела. Подходит для виртуальных ведущих, интервью, подкастов, образовательных роликов и рекламы.
Что нового во 2.0
• Длительность: до 300 секунд непрерывной генерации вместо 60, без склейки фрагментов
• Аудио: речь, диалоги и музыка. Синхронизация губ, мимика и жесты учитывают интонации, эмоции и смысл
• Управление: действия персонажа и движение камеры задаются текстовым промптом
• Цена: с $0.12 до $0.07 за секунду, то есть -41.7%
• 5-минутный ролик — около $21
• Понимание смысла речи было уже в версии 1.5
Главные изменения — пятикратный рост максимальной длительности и снижение цены. Диалоги и музыка на входе поддерживаются наравне с речью
byteplus.com/en/product/OmniHuman
#lipsync #speech2video #characteranimation #portraitanimation #avatar
MAX
Оживлятор фото персонажа по аудио - с синхронизацией губ, мимикой, жестами и движением тела. Подходит для виртуальных ведущих, интервью, подкастов, образовательных роликов и рекламы.
Что нового во 2.0
• Длительность: до 300 секунд непрерывной генерации вместо 60, без склейки фрагментов
• Аудио: речь, диалоги и музыка. Синхронизация губ, мимика и жесты учитывают интонации, эмоции и смысл
• Управление: действия персонажа и движение камеры задаются текстовым промптом
• Цена: с $0.12 до $0.07 за секунду, то есть -41.7%
• 5-минутный ролик — около $21
• Понимание смысла речи было уже в версии 1.5
Главные изменения — пятикратный рост максимальной длительности и снижение цены. Диалоги и музыка на входе поддерживаются наравне с речью
byteplus.com/en/product/OmniHuman
#lipsync #speech2video #characteranimation #portraitanimation #avatar
MAX
🔥1