LongCat-Video-Avatar 1.5
Обновилась модель от Meituan для создания видео с говорящими аватарами
• превращает фото в видео с говорящим персонажем
• синхронизирует движение губ с аудио (использует Whisper‑Large)
• работает с людьми, аниме‑персонажами, животными
• генерирует видео по аудио + текст (AT2V), аудио + текст + изображение (ATI2V)
• продолжает существующие видео (Video Continuation)
• выдаёт стабильное изображение, сохраняет идентичность персонажа в длинных роликах
Лицензия MIT, оптимизирована через DMD2‑based step distillation (8 NFE), поддерживает одно‑ и многопоточное аудио.
github.com/meituan-longcat/LongCat-Video
huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5
#ati2v #at2v #avatar #longvideo #characteranimation #speech2animation #image2video #lipsync
Обновилась модель от Meituan для создания видео с говорящими аватарами
• превращает фото в видео с говорящим персонажем
• синхронизирует движение губ с аудио (использует Whisper‑Large)
• работает с людьми, аниме‑персонажами, животными
• генерирует видео по аудио + текст (AT2V), аудио + текст + изображение (ATI2V)
• продолжает существующие видео (Video Continuation)
• выдаёт стабильное изображение, сохраняет идентичность персонажа в длинных роликах
Лицензия MIT, оптимизирована через DMD2‑based step distillation (8 NFE), поддерживает одно‑ и многопоточное аудио.
github.com/meituan-longcat/LongCat-Video
huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5
#ati2v #at2v #avatar #longvideo #characteranimation #speech2animation #image2video #lipsync
👍6🔥4
Nemotron 3 Ultra (550B‑A55B)
Открытая модель от NVIDIA с 550 млрд параметров (55 млрд активных) для ИИ‑агентов: держит длинный контекст, работает с инструментами, выполняет многошаговые задачи.
• обрабатывает длинные контексты
• взаимодействует с внешними инструментами
• решает многошаговые задачи
• эффективно работает в агентных сценариях
• архитектура — гибрид Mamba2 + Transformer (4:1 в пользу Mamba)
• LatentMoE‑архитектура
• претрейн в NVFP4 на 20 T токенов
• двухэтапный MOPD post‑training
• нативная поддержка MTP
• открыты: base‑модель, post‑trained версии, reward checkpoints, NVFP4‑квантованные версии, данные и рецепты обучения
Бесплатно можно поюзать в Opencode
BF16: huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16
NVFP4: huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4
huggingface.co/unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF
#agent #assistant
Открытая модель от NVIDIA с 550 млрд параметров (55 млрд активных) для ИИ‑агентов: держит длинный контекст, работает с инструментами, выполняет многошаговые задачи.
• обрабатывает длинные контексты
• взаимодействует с внешними инструментами
• решает многошаговые задачи
• эффективно работает в агентных сценариях
• архитектура — гибрид Mamba2 + Transformer (4:1 в пользу Mamba)
• LatentMoE‑архитектура
• претрейн в NVFP4 на 20 T токенов
• двухэтапный MOPD post‑training
• нативная поддержка MTP
• открыты: base‑модель, post‑trained версии, reward checkpoints, NVFP4‑квантованные версии, данные и рецепты обучения
Бесплатно можно поюзать в Opencode
BF16: huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16
NVFP4: huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4
huggingface.co/unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF
#agent #assistant
🔥7🌚1
This media is not supported in your browser
VIEW IN TELEGRAM
Agent Mode
На Arena.ai новая фича - режим, который позволяет ИИ-агенту автономно выполнять многоэтапные задачи, используя встроенные инструменты
Как работает Agent Mode
В отличие от традиционного чата, где пользователь разбивает сложную задачу на множество запросов, Agent Mode самостоятельно строит план и использует инструменты для выполнения всего многоэтапного рабочего процесса за один раз. При обработке запроса агент может применять
* веб-поиск
* генерация изображений
* работа с командной строкой в песочнице для тестирования и итераций
* создание файлов
Чтобы начать использовать Agent Mode, можно:
1. Перейти по ссылке https://arena.ai/agent
2. Или на главной странице Arena.ai нажать на выпадающее меню в левом верхнем углу и изменить опцию с «Battle Mode» на «Agent Mode».
Поддерживает загрузку PDF-файлов. В будущем планируют расширить поддержку других форматов
#agent #arena
На Arena.ai новая фича - режим, который позволяет ИИ-агенту автономно выполнять многоэтапные задачи, используя встроенные инструменты
Как работает Agent Mode
В отличие от традиционного чата, где пользователь разбивает сложную задачу на множество запросов, Agent Mode самостоятельно строит план и использует инструменты для выполнения всего многоэтапного рабочего процесса за один раз. При обработке запроса агент может применять
* веб-поиск
* генерация изображений
* работа с командной строкой в песочнице для тестирования и итераций
* создание файлов
Чтобы начать использовать Agent Mode, можно:
1. Перейти по ссылке https://arena.ai/agent
2. Или на главной странице Arena.ai нажать на выпадающее меню в левом верхнем углу и изменить опцию с «Battle Mode» на «Agent Mode».
Поддерживает загрузку PDF-файлов. В будущем планируют расширить поддержку других форматов
#agent #arena
👍7
Qwen‑Image‑Flash
Быстрая версия генератора-редактора картинок от Alibaba
• генерирует изображения по текстовому описанию
• редактирует изображения по инструкциям
• использует few‑step distillation
• опирается на продуманный подбор данных (data composition)
• задействует teacher guidance и task mixture
• обеспечивает высокое качество при быстрой работе
Пока только препринт
#t2i #imageediting #optimization #qwenimage #qif
Быстрая версия генератора-редактора картинок от Alibaba
• генерирует изображения по текстовому описанию
• редактирует изображения по инструкциям
• использует few‑step distillation
• опирается на продуманный подбор данных (data composition)
• задействует teacher guidance и task mixture
• обеспечивает высокое качество при быстрой работе
Пока только препринт
#t2i #imageediting #optimization #qwenimage #qif
🤝7
This media is not supported in your browser
VIEW IN TELEGRAM
ArtiFixer
Модель NVIDIA для улучшения 3D‑реконструкций — работает с неполными данными, заполняет пробелы в 3D‑сценах.
• генерирует новые виды сцены
• улучшает 3D‑представление
• учитывает текстовые подсказки
• обрабатывает RGB‑изображения, карты непрозрачности и карты лучей камеры
• базовая модель — Wan2.1 (WanTransformer3DModel)
• 16,9 млрд параметров
• преимущество 1–3 дБ по PSNR (на наборах MipNeRF 360 и DL3DV‑10K)
https://github.com/nv-tlabs/artifixer
https://huggingface.co/nvidia/ArtiFixer
Спасибо @m_franz
#gaussian #optimization #3denhance #3dreconstruction
Модель NVIDIA для улучшения 3D‑реконструкций — работает с неполными данными, заполняет пробелы в 3D‑сценах.
• генерирует новые виды сцены
• улучшает 3D‑представление
• учитывает текстовые подсказки
• обрабатывает RGB‑изображения, карты непрозрачности и карты лучей камеры
• базовая модель — Wan2.1 (WanTransformer3DModel)
• 16,9 млрд параметров
• преимущество 1–3 дБ по PSNR (на наборах MipNeRF 360 и DL3DV‑10K)
https://github.com/nv-tlabs/artifixer
https://huggingface.co/nvidia/ArtiFixer
Спасибо @m_franz
#gaussian #optimization #3denhance #3dreconstruction
❤4👍4🔥3
MisoTTS 8B
Open‑source TTS‑модель от Miso Labs для генерации разговорной речи - быстрая, компактная, высокого качества.
• клонирует голос по 10‑секундному аудиосэмплу
• сохраняет идентичность голоса на протяжении всего разговора
• отвечает за 110 мс — работает почти в реальном времени
• базовая модель — Llama‑8B (в стиле Llama 3.2)
• аудиодекодер — Llama‑300M
• поддерживает только английский язык
https://github.com/MisoLabsAI/MisoTTS
https://huggingface.co/MisoLabs/MisoTTS
https://huggingface.co/spaces/multimodalart/MisoTTS
#tts #voicecloning #realtime #dialog
Open‑source TTS‑модель от Miso Labs для генерации разговорной речи - быстрая, компактная, высокого качества.
• клонирует голос по 10‑секундному аудиосэмплу
• сохраняет идентичность голоса на протяжении всего разговора
• отвечает за 110 мс — работает почти в реальном времени
• базовая модель — Llama‑8B (в стиле Llama 3.2)
• аудиодекодер — Llama‑300M
• поддерживает только английский язык
https://github.com/MisoLabsAI/MisoTTS
https://huggingface.co/MisoLabs/MisoTTS
https://huggingface.co/spaces/multimodalart/MisoTTS
#tts #voicecloning #realtime #dialog
❤5👨💻2
ComfyUI KSampler Matrix Lab
Кастром пак для сравнения сэмплеров в комфи
#comfyui #tools #sampler #comparison
Кастром пак для сравнения сэмплеров в комфи
#comfyui #tools #sampler #comparison
❤9👍7 1
This media is not supported in your browser
VIEW IN TELEGRAM
Audio-Interaction
Потоковая аудиомодель, которая слушает в реальном времени и сама решает, когда вступить в разговор. Объединяет транскрибацию, чат и проактивное вмешательство в одной системе.
• транскрибирует аудио на лету
• ведёт диалог
• самостоятельно определяет момент для ответа (через цикл perceive‑decide‑respond)
• работает в режиме всегда включённой модели
• обучающий датасет: StreamAudio‑2M (2,6 млн элементов)
huggingface.co/zhifeixie/AudioInteraction
github.com/xzf-thu/Audio-Interaction
#dialog #streaming #realtime #tts #stt #voicemode #interactive
Потоковая аудиомодель, которая слушает в реальном времени и сама решает, когда вступить в разговор. Объединяет транскрибацию, чат и проактивное вмешательство в одной системе.
• транскрибирует аудио на лету
• ведёт диалог
• самостоятельно определяет момент для ответа (через цикл perceive‑decide‑respond)
• работает в режиме всегда включённой модели
• обучающий датасет: StreamAudio‑2M (2,6 млн элементов)
huggingface.co/zhifeixie/AudioInteraction
github.com/xzf-thu/Audio-Interaction
#dialog #streaming #realtime #tts #stt #voicemode #interactive
👍7
Echo LongVideo
Диффузная модель для генерации длинных видео — создаёт ролики большой продолжительности с сохранением согласованности сюжета и визуала.
Примеры длинных видео см на сайте
huggingface.co/jdopensource/JoyAI-Echo
- 46ГБ
github.com/jd-opensource/JoyAI-Echo
Спасибо @StanShumsky
#longvideo #t2v
Диффузная модель для генерации длинных видео — создаёт ролики большой продолжительности с сохранением согласованности сюжета и визуала.
Примеры длинных видео см на сайте
huggingface.co/jdopensource/JoyAI-Echo
- 46ГБ
github.com/jd-opensource/JoyAI-Echo
Спасибо @StanShumsky
#longvideo #t2v
👍18
Wan2.2-NVFP4-Sparse
Сжатая версия #Wan22 оптимизированная под Blackwell от Lightricks
Быстрее стандартной версии примерно в 50 раз
инференс в 4 шага
480p и 720p
первое видео - базовый ван, второе - Sparse
#nvfp4 #t2v #optimization
Сжатая версия #Wan22 оптимизированная под Blackwell от Lightricks
Быстрее стандартной версии примерно в 50 раз
инференс в 4 шага
480p и 720p
первое видео - базовый ван, второе - Sparse
#nvfp4 #t2v #optimization
🔥8🤷♂3👍2