VEED AI Dubbing

Дубляж видео от VEED

• 29 языков дубляжа и больше 50 для озвучки по тексту включая русский
• Клонирование голоса автора или готовые голоса на выбор
• Автоматический липсинк под переведенную речь
• Фоновые звуки сохраняются, а не вырезаются вместе с речью
• Субтитры, обрезка и кадрирование в том же редакторе
• На тарифе Enterprise можно вычитать перевод до дубляжа и загрузить свои SRT, VTT или ASS

В платный комфи уже завезли

За комментарий "dub" дают попробовать

#dubbing #voicecloning #online

MAX

KeenFace

Новый сервис KeenTools, авторов FaceBuilder и GeoTracker: 3D-голова по фотографиям, сразу готовая к работе, с #PBR текстурами. На вход несколько снимков, хоть стоп-кадры из сети, хоть студийная съемка

• Нативная топология MetaHuman, ретопология не нужна
• Пакет PBR-текстур 4K: базовый цвет, нормали, шероховатость, спекуляр
• Чистый лысый базовый меш, без вшитых волос и мусорной геометрии
• Экспорт в Unreal Engine, Blender, Maya и дальше по пайплайну
• Годится под риг, скульпт и анимацию
• Есть упоминание, что груминг появится позже

Работает в браузере
Бесплатные тестовые кредиты на старт
API для автоматизации и встраивания в свои продукты

#head #image2head #imageto3d

MAX

Idol

Idol от Speridlabs делает 3D-сплат по одной фотографии предмета, включая стороны, которых на снимке не было. Пара секунд на современной карте. Есть нативная поддержка в #ComfyUI

• Своя обвязка из трех нод: препроцесс, камера, чистка сплата
• Остальное работает на стоковых нодах TripoSplat, KSampler и Render Splat
• Экспорт в ply, spz, ksplat и GLB

• Два режима кропа: synthetic для рендеров и генераций, real для фотографий

Из практики: половина гауссиан выходит почти прозрачной, из-за этого в просмотрщике туман и иглы по краям. Нода чистки с порогом 0.05 убирает их и заодно режет размер файла вдвое. Это влияет на картинку сильнее, чем любые настройки сэмплера.

github.com/speridlabs/idol-sdk
hf.co/speridlabs/idol
github.com/Nynxz/ComfyUI-Idol
hf.co/spaces/speridlabs/idol

Спасибо @m_franz

#image2gaussian #gaussian

MAX

OpenCartridge

Локальная студия ассетов для игр: холст, спрайты, анимация, звук и 3D в одном окне. Считает на своей видеокарте через воркеры #ComfyUI

• Холст со слоями, трансформами и отменой
• Экспорт в PNG, MP4, WebM и GLB
• Картриджи: модели и воркфлоу упакованы в Docker и ставятся одной кнопкой
• Контейнер запускается, останавливается и удаляется прямо из интерфейса
• Просмотр и облет 3D-моделей в GLB
• Звук: волновая дорожка и генерация
• Внутри свой MinIO, ничего доустанавливать не нужно
• Интерфейс обновляет сам себя из панели настроек
• Полностью локально, без аккаунта и кредитов

~ от 24 ГБ видеопамяти

Готовые картриджи уже интересные: спрайт-лист 3x3 с восемью изометриями из одного референса, анимация такого листа, пиксель-арт в стиле Loop Hero, кеинг через CorridorKey для фото и видео, и Idol, который по одной картинке собирает 3D-модель вместе с невидимыми сторонами.

#studiuo #asset

MAX

SpEdE

Открытый движок правки сплат-сцен в #ComfyUI : щелкаешь по объекту и убираешь, меняешь или вытаскиваешь его отдельным PLY

• Удаление на всех камерах сразу, дыра закрывается новыми гауссианами по восстановленной поверхности
• Заполнение держится при облете, а не только в одном ракурсе
• Замена: Qwen-Image рисует новый предмет, TripoSplat делает 3D, объект встает на место старого
• Извлечение без стола и соседей
• SAM 3.1, Qwen-Image 2.1, MoGe-3, TripoSplat, веб-интерфейс, лицензия AGPL
• Тестировали на RTX 5090 с 32 ГБ, нужно около 27 ГБ весов

Не универсальный 3D-инпейнтинг: достраивает поверхность под объектом, но не выдумывает скрытое

#gaussian #image2gaussian

MAX

Construct

Открытый пайплайн где агент исследует реальный объект и описывает его данными, а геометрию строит отдельный движок

Агент только описывает чем объект является. Поэтому одна сцена одинаково уходит в Blender, Godot, Unity, Unreal или в веб. Это не замена ручным ассетам а блок-ауты, пропсы, превиз и учебные модели

• Агент ищет факты и фотографии по конкретному объекту
• Дальше пишет сцену: размеры, части, порядок сборки, шарниры
• Каждый факт помечен: проверенный, заданный вами, выведенный или декоративный
• Сцена проверяется на ошибки, агент чинит до чистого прогона
• На выходе страница с голограммой, которая сама собирается по частям
• Тот же объект выгружается в glTF с именованными деталями и рабочими шарнирами
• Есть аддон для #Blender: голограмма, чистая геометрия, готовые материалы

• Режим masterpiece с независимым критиком, который сравнивает версии вслепую

github.com/rtmandreyev/construct

#3d #textto3d #text2scene

Comfy Pro Alpha Generator

Ртоскоп в #ComfyUI от композера

По клику на человеке создает альфу с прядями волос

• Клик по человеку, SAM3 ведет его по кадрам
• Alt-click вычитает часть, shift-click добавляет предмет
• Остальных людей инпейнтит из копии кадра, чтобы LTX рисовал край только нужного
• Режим перекрытия: три прохода LTX и карта глубины решают, кто впереди, 90,3%
• На 4K гоняет LTX заново по родным тайлам 1920 на 1088 вдоль контура, пряди настоящие, без апскейла
• EXR на входе и выходе, номера кадров сохраняются, альфа 16 бит плюс чистый premultiplied комп

• 12 ГБ видеопамяти и 16 ГБ оперативной
• Нужны SAM3 и LTXVideo как зависимости

Оговорки: на толстых косах выигрыш небольшой, а там, где человек касается другого, тайловый проход отключают и оставляют 1080p, иначе получается хуже

#video2matte #matting #roto

MAX

Audio8-TTS Realistic 0.6B

Компактная говорилка от Edge0, 600М параметров. Версия дорабатывает интонации и выразительность, сохраняя клонирование голоса без обучения.

• Клонирование по образцу записи и ее тексту
• Озвучка без образца, обычным голосом модели
• 23 языка, включая русский
• Собственный кодек 44,1 кГц в комплекте, отдельно качать не нужно
• Архитектура DualAR: медленный трансформер предсказывает смысловой токен, быстрый добирает кодбуки кадра
• 24 слоя в медленном блоке и 4 в быстром, 10 кодбуков по 4096 значений

• 601 млн параметров без кодека
• Контекст до 2048 позиций текста и аудио

Из 23 языков 12 добавлены в этой версии, русский как раз из новых. Качество по языкам разное, возможны ошибки произношения

HF
Демо

Спасибо @Endorpheen

#compact #tts #voicecloning

Итак, Freefield

Опенсорсные альтернативы хиггсов на #ComfyUI и Comfy SDK. 117 приложений: картинки, видео, эффекты, звук, все на открытых весах

• Генерация картинок на FLUX 3 Klein с апсемплером промпта
• Cinema Studio: кадр плюс до трех движений камеры из 33 хитсфилдовских
• Видео и продление через MiniMax H3, ре-шут под другим углом, релайт
• 24 эффекта на LoRA, морф, mixed media, дубляж, замена лица
• Кисть для инпейнта, удаление фона, карта глубины, апскейл
• 72 шаблонных приложения вроде AI Influencer, Packshot или Bullet Time
• Результат передается в другое приложение через Use in

• Каждое приложение это папка с app.json и воркфлоу ComfyUI; интерфейс, загрузки моделей и тесты генерируются из этих файлов
• Никаких API-нод, только файлы весов: LTX-2.5, FLUX 3 Klein, MiniMax H3, Wan, Qwen-Image-Edit, SeedVR2, Stable Audio 3
• Запуск на Modal с L40S или H100 либо на своем ComfyUI

#OpenSourceHiggsfield

MAX

В AReA прикрутили поддержку #qwenimage

github.com/KooroshRH/AReA

#4k #t2i

MAX