Нейронавт | Нейросети в творчестве
13.4K subscribers
7.32K photos
5.77K videos
51 files
7.45K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках и запусках не участвую

для связи @Neuronauticus

РКН: https://hf.ru/link8e56d
Download Telegram
LongCat-Video-Avatar 1.5

Обновилась модель от Meituan для создания видео с говорящими аватарами

• превращает фото в видео с говорящим персонажем
• синхронизирует движение губ с аудио (использует Whisper‑Large)
• работает с людьми, аниме‑персонажами, животными
• генерирует видео по аудио + текст (AT2V), аудио + текст + изображение (ATI2V)
• продолжает существующие видео (Video Continuation)
• выдаёт стабильное изображение, сохраняет идентичность персонажа в длинных роликах

Лицензия MIT, оптимизирована через DMD2‑based step distillation (8 NFE), поддерживает одно‑ и многопоточное аудио.

github.com/meituan-longcat/LongCat-Video

huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5

#ati2v #at2v #avatar #longvideo #characteranimation #speech2animation #image2video #lipsync
👍6🔥4
Nemotron 3 Ultra (550B‑A55B)

Открытая модель от NVIDIA с 550 млрд параметров (55 млрд активных) для ИИ‑агентов: держит длинный контекст, работает с инструментами, выполняет многошаговые задачи.

• обрабатывает длинные контексты
• взаимодействует с внешними инструментами
• решает многошаговые задачи
• эффективно работает в агентных сценариях


• архитектура — гибрид Mamba2 + Transformer (4:1 в пользу Mamba)
• LatentMoE‑архитектура
• претрейн в NVFP4 на 20 T токенов
• двухэтапный MOPD post‑training
• нативная поддержка MTP
• открыты: base‑модель, post‑trained версии, reward checkpoints, NVFP4‑квантованные версии, данные и рецепты обучения

Бесплатно можно поюзать в Opencode

BF16: huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16

NVFP4: huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4

huggingface.co/unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF

#agent #assistant
🔥7🌚1
This media is not supported in your browser
VIEW IN TELEGRAM
Agent Mode

На Arena.ai новая фича - режим, который позволяет ИИ-агенту автономно выполнять многоэтапные задачи, используя встроенные инструменты

Как работает Agent Mode

В отличие от традиционного чата, где пользователь разбивает сложную задачу на множество запросов, Agent Mode самостоятельно строит план и использует инструменты для выполнения всего многоэтапного рабочего процесса за один раз. При обработке запроса агент может применять
* веб-поиск
* генерация изображений
* работа с командной строкой в песочнице для тестирования и итераций
* создание файлов

Чтобы начать использовать Agent Mode, можно:
1. Перейти по ссылке https://arena.ai/agent
2. Или на главной странице Arena.ai нажать на выпадающее меню в левом верхнем углу и изменить опцию с «Battle Mode» на «Agent Mode». 

Поддерживает загрузку PDF-файлов. В будущем планируют расширить поддержку других форматов

#agent #arena
👍7
Qwen‑Image‑Flash

Быстрая версия генератора-редактора картинок от Alibaba

• генерирует изображения по текстовому описанию
• редактирует изображения по инструкциям

• использует few‑step distillation
• опирается на продуманный подбор данных (data composition)
• задействует teacher guidance и task mixture
• обеспечивает высокое качество при быстрой работе

Пока только препринт

#t2i #imageediting #optimization #qwenimage #qif
🤝7
This media is not supported in your browser
VIEW IN TELEGRAM
ArtiFixer

Модель NVIDIA для улучшения 3D‑реконструкций — работает с неполными данными, заполняет пробелы в 3D‑сценах.

• генерирует новые виды сцены
• улучшает 3D‑представление
• учитывает текстовые подсказки
• обрабатывает RGB‑изображения, карты непрозрачности и карты лучей камеры

• базовая модель — Wan2.1 (WanTransformer3DModel)
• 16,9 млрд параметров
• преимущество 1–3 дБ по PSNR (на наборах MipNeRF 360 и DL3DV‑10K)

https://github.com/nv-tlabs/artifixer

https://huggingface.co/nvidia/ArtiFixer

Спасибо @m_franz

#gaussian #optimization #3denhance #3dreconstruction
❤4👍4🔥3
Интернет сегодня в Москве просто отвратительный
Поэтому вместо новостей смотрим балет мемы

#humor
😁24
MisoTTS 8B

Open‑source TTS‑модель от Miso Labs для генерации разговорной речи - быстрая, компактная, высокого качества.

• клонирует голос по 10‑секундному аудиосэмплу
• сохраняет идентичность голоса на протяжении всего разговора
• отвечает за 110 мс — работает почти в реальном времени

• базовая модель — Llama‑8B (в стиле Llama 3.2)
• аудиодекодер — Llama‑300M
• поддерживает только английский язык

https://github.com/MisoLabsAI/MisoTTS
https://huggingface.co/MisoLabs/MisoTTS
https://huggingface.co/spaces/multimodalart/MisoTTS

#tts #voicecloning #realtime #dialog
❤5👨‍💻2
ComfyUI KSampler Matrix Lab

Кастром пак для сравнения сэмплеров в комфи

#comfyui #tools #sampler #comparison
❤9👍71
This media is not supported in your browser
VIEW IN TELEGRAM
Audio-Interaction

Потоковая аудиомодель, которая слушает в реальном времени и сама решает, когда вступить в разговор. Объединяет транскрибацию, чат и проактивное вмешательство в одной системе.

• транскрибирует аудио на лету
• ведёт диалог
• самостоятельно определяет момент для ответа (через цикл perceive‑decide‑respond)
• работает в режиме всегда включённой модели

• обучающий датасет: StreamAudio‑2M (2,6 млн элементов)

huggingface.co/zhifeixie/AudioInteraction

github.com/xzf-thu/Audio-Interaction

#dialog #streaming #realtime #tts #stt #voicemode #interactive
👍7
Echo LongVideo

Диффузная модель для генерации длинных видео — создаёт ролики большой продолжительности с сохранением согласованности сюжета и визуала.

Примеры длинных видео см на сайте

huggingface.co/jdopensource/JoyAI-Echo
- 46ГБ

github.com/jd-opensource/JoyAI-Echo

Спасибо @StanShumsky

#longvideo #t2v
👍18
Wan2.2-NVFP4-Sparse

Сжатая версия #Wan22 оптимизированная под Blackwell от Lightricks

Быстрее стандартной версии примерно в 50 раз

инференс в 4 шага

480p и 720p

первое видео - базовый ван, второе - Sparse

#nvfp4 #t2v #optimization
🔥8🤷‍♂3👍2
Хвала белым спискам, новости сегодня постить не смогу

Смотрите мемы
😁33😱4🔥2