This media is not supported in your browser
VIEW IN TELEGRAM
Viggle-Animate
Viggle подал голос. Последние вести от него были в 2024
Замена персонажа в видео. Перерисовываешь персонажа на одном кадре - модель распространяет эту правку на весь клип. Полный финтюн #MiniMaxH3 ref2va + дистилляция, всего 3 прохода
- Нет промежуточных моделей: без оценки поз, сегментации, трекинга лиц и текстового энкодера
- Работает там, где другим тяжело: быстрое движение, животные, негуманоидные существа, стилизованные персонажи
- Быстро: замена ролика за ~26 секунд, в 6 раз быстрее Wan2.2-Animate
- Можно нарисовать несколько персонажей сразу ("тот что слева")
- Слабое место - липсинк: рот не следит за речью
Демо
Офсайт
Спасибо @m_franz
#characterswap
Viggle подал голос. Последние вести от него были в 2024
Замена персонажа в видео. Перерисовываешь персонажа на одном кадре - модель распространяет эту правку на весь клип. Полный финтюн #MiniMaxH3 ref2va + дистилляция, всего 3 прохода
- Нет промежуточных моделей: без оценки поз, сегментации, трекинга лиц и текстового энкодера
- Работает там, где другим тяжело: быстрое движение, животные, негуманоидные существа, стилизованные персонажи
- Быстро: замена ролика за ~26 секунд, в 6 раз быстрее Wan2.2-Animate
- Можно нарисовать несколько персонажей сразу ("тот что слева")
- Слабое место - липсинк: рот не следит за речью
Демо
Офсайт
Спасибо @m_franz
#characterswap
👍9🤔4
Накопилось по #minimaxH3 - часть 16
github.com/Songssx/ComfyUI-MiniMaxH3-TimelineDirector - разбивает длинный хронометрах на куски и рендерит одним проходом. все референсы #Ref2VA #longvideo
github.com/badgids/ComfyUI-H3-ExactAudioLock - точный аудио-лок: видео отвечает ровно на поданный звук, не на сгенерированный. Для мультиспикерных сцен, оверлапа речи, пения
reddit.com/r/MiniMax_AI/comments/1w5wdjs/how_to_made_minimax_h3_video_edits_way_easier_to/ - промпт для замены персонажа + команда для случая, когда рука перекрывает лицо #characterswap
huggingface.co/spaces/multimodalart/h3-acceleration-arena - лидерборд моделей, вариантов и лор H3 #arena
github.com/j955229/ComfyUI-MiniMax-H3-Motion-Director - среда управления клипами: Mixed Mode (T2V/I2V/R2V), selective rerun, Motion Context, библиотека материалов, пост-обработка
github.com/AlonAshken/ComfyUI-MiniMaxH3-FlowDirector - визуальный менеджер таймлинии для длинных видео
github.com/Songssx/ComfyUI-MiniMaxH3-TimelineDirector - разбивает длинный хронометрах на куски и рендерит одним проходом. все референсы #Ref2VA #longvideo
github.com/badgids/ComfyUI-H3-ExactAudioLock - точный аудио-лок: видео отвечает ровно на поданный звук, не на сгенерированный. Для мультиспикерных сцен, оверлапа речи, пения
reddit.com/r/MiniMax_AI/comments/1w5wdjs/how_to_made_minimax_h3_video_edits_way_easier_to/ - промпт для замены персонажа + команда для случая, когда рука перекрывает лицо #characterswap
huggingface.co/spaces/multimodalart/h3-acceleration-arena - лидерборд моделей, вариантов и лор H3 #arena
github.com/j955229/ComfyUI-MiniMax-H3-Motion-Director - среда управления клипами: Mixed Mode (T2V/I2V/R2V), selective rerun, Motion Context, библиотека материалов, пост-обработка
github.com/AlonAshken/ComfyUI-MiniMaxH3-FlowDirector - визуальный менеджер таймлинии для длинных видео
👍13🔥5❤4🤝1
👍9😁7🍌4
pocket-tts-ru
Русская дообученная версия pocket-tts - легкий синтезатор речи с клонированием голоса, работает на процессоре
- Клонирование голоса по записи: 10–20 секунд чистой речи
- Компактная - это 6-слойный ученик, дистиллированный из большой 24-слойной модели: быстрее и легче на инференсе
- Вход: текст + референс-аудио голоса
- Выход: WAV-файл речи
- Лицензия CC-BY-NC-4.0 — бесплатно, но только для некоммерческого использования
- Текст нужно готовить: ударения обозначаются знаком «+» перед ударной гласной, числа раскрываются — иначе речь поедет
- Длинные фразы режутся — синтезировать лучше по предложениям
- Качество повторяет промпт: шумная запись голоса даст шумную речь
#tts #russian #compact voicecloning
VK | MAX
Русская дообученная версия pocket-tts - легкий синтезатор речи с клонированием голоса, работает на процессоре
- Клонирование голоса по записи: 10–20 секунд чистой речи
- Компактная - это 6-слойный ученик, дистиллированный из большой 24-слойной модели: быстрее и легче на инференсе
- Вход: текст + референс-аудио голоса
- Выход: WAV-файл речи
- Лицензия CC-BY-NC-4.0 — бесплатно, но только для некоммерческого использования
- Текст нужно готовить: ударения обозначаются знаком «+» перед ударной гласной, числа раскрываются — иначе речь поедет
- Длинные фразы режутся — синтезировать лучше по предложениям
- Качество повторяет промпт: шумная запись голоса даст шумную речь
#tts #russian #compact voicecloning
VK | MAX
👍11🥴1
Scantic
iPhone-приложение для 3D-сканирования и реконструкции сцены на гауссианах.
меньше минуты на iPhone. Без LiDAR, без облака
автор хотел ускорить тренировку в 1000 раз и неожиданно навайбкодил приложение
качество можете оценить на моем скане Бендера трясущимися руками на айфон 13
Из фич - пока вы бегаете вокруг объекта приложение само выбирает удачные кадры
а вот пример от автора
#gaussian #ios
VK | MAX
iPhone-приложение для 3D-сканирования и реконструкции сцены на гауссианах.
меньше минуты на iPhone. Без LiDAR, без облака
автор хотел ускорить тренировку в 1000 раз и неожиданно навайбкодил приложение
качество можете оценить на моем скане Бендера трясущимися руками на айфон 13
Из фич - пока вы бегаете вокруг объекта приложение само выбирает удачные кадры
а вот пример от автора
#gaussian #ios
VK | MAX
👍13👨💻1
This media is not supported in your browser
VIEW IN TELEGRAM
Compile by Training
Нейрокомпилятор. Превращает текстовое описание задачи в маленькую локальную нейросеть, выполняющую поставленную задачу
PAW (Program-as-Weights) работает так: «программа» это веса лоры поверх общей нейросети-интерпретатора (~0.6B). Интерпретатор один для всех программ. Лора весит копейки, ее можно хранить, версионировать и комбинировать как обычный файл, но исполняется она нейросетью
Сборка: промпт → черновик → учитель генерирует примеры → интерпретатор дообучается на них → готовая
Годно для любых задач которые можно описать как функцию от входа к выходу
На FuzzyBench-Hard — 83.6% семантической точности. Уже работает в многосайтовом помощнике, 3D-аватаре с голосовым управлением и переводчике с английского на выдуманный язык Claudish
Гитхаб
Демо
#coding
Нейрокомпилятор. Превращает текстовое описание задачи в маленькую локальную нейросеть, выполняющую поставленную задачу
PAW (Program-as-Weights) работает так: «программа» это веса лоры поверх общей нейросети-интерпретатора (~0.6B). Интерпретатор один для всех программ. Лора весит копейки, ее можно хранить, версионировать и комбинировать как обычный файл, но исполняется она нейросетью
Сборка: промпт → черновик → учитель генерирует примеры → интерпретатор дообучается на них → готовая
.paw-функция. На все около минутыГодно для любых задач которые можно описать как функцию от входа к выходу
На FuzzyBench-Hard — 83.6% семантической точности. Уже работает в многосайтовом помощнике, 3D-аватаре с голосовым управлением и переводчике с английского на выдуманный язык Claudish
Гитхаб
Демо
#coding
🤯8🤔5🔥3❤1
This media is not supported in your browser
VIEW IN TELEGRAM
ComfyUI-NVIDIA-DLSS-Frame-Interpolation
Подъехала интерполяция кадров на #DLSS5 для #ComfyU
Ну апскейл тоже есть
- DLSS Frame Interpolation: повышение FPS, вплоть до 120 FPS, с каскадным режимом для нестандартных множителей
- DLSS Video Upscale: апскейл видео до 3x с Neural Rendering (качество, баланс, производительность, ультра)
- DLSS Image Upscale: то же самое для отдельных кадров и батчей, прямо в тензоре без сохранения файла
- Контроль Neural Rendering: стиль (Natural/Cinematic), интенсивность, тон, структура, маска, пресеты DLSS
- Сохраняет аудио, субтитры и метаданные оригинала
- Только Windows, только NVIDIA RTX
- В комплекте DLL от DLSS 5 !!!
- FFmpeg отдельно
- Есть флаг Require Neural Upscaling: если нейросетевой апскейл не сработал — нода выдаст ошибку вместо тихого падения
#upscale #frameinterpolation
VK | MAX
Подъехала интерполяция кадров на #DLSS5 для #ComfyU
Ну апскейл тоже есть
- DLSS Frame Interpolation: повышение FPS, вплоть до 120 FPS, с каскадным режимом для нестандартных множителей
- DLSS Video Upscale: апскейл видео до 3x с Neural Rendering (качество, баланс, производительность, ультра)
- DLSS Image Upscale: то же самое для отдельных кадров и батчей, прямо в тензоре без сохранения файла
- Контроль Neural Rendering: стиль (Natural/Cinematic), интенсивность, тон, структура, маска, пресеты DLSS
- Сохраняет аудио, субтитры и метаданные оригинала
- Только Windows, только NVIDIA RTX
- В комплекте DLL от DLSS 5 !!!
- FFmpeg отдельно
- Есть флаг Require Neural Upscaling: если нейросетевой апскейл не сработал — нода выдаст ошибку вместо тихого падения
#upscale #frameinterpolation
VK | MAX
👍8🔥8
Trellis.2 + Pixal3D нативно в ComfyUI
Две лучшие открытые 3D-модели теперь в ядре ComfyUI 0.34.0+ — без кастомных нод, без адской установки CUDA-расширений, без даунгрейда PyTorch и без некоммерческих лицензионных ловушек. Одна картинка → готовая 3D-модель с PBR-материалами
Trellis.2 (Microsoft) — 4B модель, генерирует геометрию и материалы из одного изображения, разрешение до 1536³, любые топологии, свои PBR-карты
Pixal3D (Tsinghua + Tencent ARC) — построена на бэкбоне Trellis.2, но с pixel-aligned генерацией: 3D-модель строго повторяет то, что на входной картинке, почти как реконструкция
- Обе работают как родные ноды ComfyUI, бесплатно и для коммерции
- Новые ноды нагрузка/превью/сохранение 3D + постобработка меша: ремеш, декация, сглаживание, заливка дыр, покраска, слияние
- Полный PBR набор: base color, roughness, metallic + UV-развертка + запечённые normal и ambient occlusion карты
#3d #textto3d #imageto3d #pbr #comfyui
Две лучшие открытые 3D-модели теперь в ядре ComfyUI 0.34.0+ — без кастомных нод, без адской установки CUDA-расширений, без даунгрейда PyTorch и без некоммерческих лицензионных ловушек. Одна картинка → готовая 3D-модель с PBR-материалами
Trellis.2 (Microsoft) — 4B модель, генерирует геометрию и материалы из одного изображения, разрешение до 1536³, любые топологии, свои PBR-карты
Pixal3D (Tsinghua + Tencent ARC) — построена на бэкбоне Trellis.2, но с pixel-aligned генерацией: 3D-модель строго повторяет то, что на входной картинке, почти как реконструкция
- Обе работают как родные ноды ComfyUI, бесплатно и для коммерции
- Новые ноды нагрузка/превью/сохранение 3D + постобработка меша: ремеш, декация, сглаживание, заливка дыр, покраска, слияние
- Полный PBR набор: base color, roughness, metallic + UV-развертка + запечённые normal и ambient occlusion карты
#3d #textto3d #imageto3d #pbr #comfyui
👍19🔥7
This media is not supported in your browser
VIEW IN TELEGRAM
Немного хороших новостей про отбирание работы роботами у человеков.
В китайском беспилотном поезде есть фейковый машинист. Чувак просто сидит в кабине чтобы пассажирам было спокойнее. Присмотритесь - у него нет даже ни одной кнопки. При этом ему нельзя отвлекаться на мемчики и тиктоки.
Короче работа у нас будет но скучная
#humor #robot
VK | MAX
В китайском беспилотном поезде есть фейковый машинист. Чувак просто сидит в кабине чтобы пассажирам было спокойнее. Присмотритесь - у него нет даже ни одной кнопки. При этом ему нельзя отвлекаться на мемчики и тиктоки.
Короче работа у нас будет но скучная
#humor #robot
VK | MAX
😁20😭12
Media is too big
VIEW IN TELEGRAM
Puffin-World
Мультимодальная модель мира
Видит, симулирует и строит 3D-мир в одном фреймворке. По одной картинке + траектории камеры генерирует новые кадры с глубиной и собирает их в 3D-реконструкцию. Физика, геометрия и внешний вид моделируются вместе а не по отдельности
- Одно фото → понимание камеры и мира: ролл, питч, поле зрения, направление гравитации
- Камера-контролируемая генерация: задаtшь траекторию — получаешь новые ракурсы
- RGB-D генерация по траектории и прямая сборка в 3D облако точек
- Физика как часть модели: гравитация и широта привязывают сгенерированные виды к реальному миру - кадры не плавают за горизонт
- модель может исследовать сцену и самокалиброваться
- Пока только статичные сцены
Гитхаб
HF
#world #multimodal #simulation
Мультимодальная модель мира
Видит, симулирует и строит 3D-мир в одном фреймворке. По одной картинке + траектории камеры генерирует новые кадры с глубиной и собирает их в 3D-реконструкцию. Физика, геометрия и внешний вид моделируются вместе а не по отдельности
- Одно фото → понимание камеры и мира: ролл, питч, поле зрения, направление гравитации
- Камера-контролируемая генерация: задаtшь траекторию — получаешь новые ракурсы
- RGB-D генерация по траектории и прямая сборка в 3D облако точек
- Физика как часть модели: гравитация и широта привязывают сгенерированные виды к реальному миру - кадры не плавают за горизонт
- модель может исследовать сцену и самокалиброваться
- Пока только статичные сцены
Гитхаб
HF
#world #multimodal #simulation
👍7