This media is not supported in your browser
VIEW IN TELEGRAM
OpenVLHarness
Обвязка для мультимодальных моделей от UCLA и Apple, без обучения. Дает модели набор инструментов и память по ходу задачи
• Инструменты восприятия: зум, привязка к объекту, OCR, глубина, поза камеры
• Поиск: текстовый, по картинкам, обход страниц
• Кодинг-агент для подсчетов и скриптов
• Мультимодальная память между шагами
• Сама модель не дообучается, веса остаются прежними
Обвязку еще и оптимизировали: Kimi K3 разобрала почти 10 тысяч провальных траекторий и решила, где нужен новый инструмент, а где хватит правки промпта. Есть демо с любым OpenAI-совместимым эндпоинтом, код и данные открыты.
github.com/uclanlp/OpenVLHarness
#harness
MAX
Обвязка для мультимодальных моделей от UCLA и Apple, без обучения. Дает модели набор инструментов и память по ходу задачи
• Инструменты восприятия: зум, привязка к объекту, OCR, глубина, поза камеры
• Поиск: текстовый, по картинкам, обход страниц
• Кодинг-агент для подсчетов и скриптов
• Мультимодальная память между шагами
• Сама модель не дообучается, веса остаются прежними
Обвязку еще и оптимизировали: Kimi K3 разобрала почти 10 тысяч провальных траекторий и решила, где нужен новый инструмент, а где хватит правки промпта. Есть демо с любым OpenAI-совместимым эндпоинтом, код и данные открыты.
github.com/uclanlp/OpenVLHarness
#harness
MAX
👍5🔥5❤1
This media is not supported in your browser
VIEW IN TELEGRAM
LEV
Модели думают дольше без единого лишнего токена. Вместо длинных рассуждений сеть прогоняет свои слои по кругу: сделала проход, оценила варианты, гоняет еще
Смысл в том, что качество растет от глубины, а не от длины ответа
• Один чекпоинт работает на любой глубине
• Глубину можно менять под задачу, не меняя веса
• Оценка вариантов после каждого прохода
• Три модели: 1,4B, 2,6B и 3B
• Lev-1.4B на базе Ouro, глубина от 1 до 4, JevBench с 58 до 68%
• Lev-2.6B на Ouro, там же с 63,2 до 76,2%
• Lev-3B на Nanbeige, глубина 1-2, с 69,3 до 72,7%
• Для оценки выложили свой бенчмарк LevBench на пять уровней, с отдельным закрытым тестом
#reasoning
MAX
Модели думают дольше без единого лишнего токена. Вместо длинных рассуждений сеть прогоняет свои слои по кругу: сделала проход, оценила варианты, гоняет еще
Смысл в том, что качество растет от глубины, а не от длины ответа
• Один чекпоинт работает на любой глубине
• Глубину можно менять под задачу, не меняя веса
• Оценка вариантов после каждого прохода
• Три модели: 1,4B, 2,6B и 3B
• Lev-1.4B на базе Ouro, глубина от 1 до 4, JevBench с 58 до 68%
• Lev-2.6B на Ouro, там же с 63,2 до 76,2%
• Lev-3B на Nanbeige, глубина 1-2, с 69,3 до 72,7%
• Для оценки выложили свой бенчмарк LevBench на пять уровней, с отдельным закрытым тестом
#reasoning
MAX
🔥10❤3👍2
This media is not supported in your browser
VIEW IN TELEGRAM
Hi3D 1.0
Китайская открытая модель, не строит 3D с нуля, а доводит черновую сетку. На вход грубый меш от любого генератора по картинке плюс та же картинка, на выход аккуратная геометрия за три прохода: 512 в кубе, 1024 и 1536.
• Стыкуется с любым image-to-3D, в демо грубую форму дает Hunyuan3D-2 mini
• Детализация наращивается итеративно, а не одним броском
• Считалась под печать: 90% успешных слайсов
• Веса, код инференса и техотчет открыты
• Около 7,7 ГБ весов
• Обучено на 2 млн отобранных 3D-ассетов, у прошлой версии было около 500 тыс.
• Linux и NVIDIA с compute capability 8.0 и выше
• Полный режим 1536 проверяли только на 96 ГБ H20
Только геометрия, без текстур, памяти под потребительскую карту никто не мерил
github.com/hi3d-official/Hi3Dv1.0
huggingface.co/hi3d-official/Hi3Dv1.0
#3dto3d #3d
MAX
Китайская открытая модель, не строит 3D с нуля, а доводит черновую сетку. На вход грубый меш от любого генератора по картинке плюс та же картинка, на выход аккуратная геометрия за три прохода: 512 в кубе, 1024 и 1536.
• Стыкуется с любым image-to-3D, в демо грубую форму дает Hunyuan3D-2 mini
• Детализация наращивается итеративно, а не одним броском
• Считалась под печать: 90% успешных слайсов
• Веса, код инференса и техотчет открыты
• Около 7,7 ГБ весов
• Обучено на 2 млн отобранных 3D-ассетов, у прошлой версии было около 500 тыс.
• Linux и NVIDIA с compute capability 8.0 и выше
• Полный режим 1536 проверяли только на 96 ГБ H20
Только геометрия, без текстур, памяти под потребительскую карту никто не мерил
github.com/hi3d-official/Hi3Dv1.0
huggingface.co/hi3d-official/Hi3Dv1.0
#3dto3d #3d
MAX
❤9👍6
This media is not supported in your browser
VIEW IN TELEGRAM
Dessa
Голосовая модель от Block, лаборатории Джека Дорси. Обучена только на записях живой речи, без текстовых расшифровок в цепочке
Логика простая: обычные голосовые системы гоняют звук через текст и теряют тон, темп и все, что несет интонация. Здесь звук идет в звук, поэтому диалог звучит как разговор, а не как озвучка. Block называет это моментом GPT-3 для речи, хотя как именно управляется эмоция, из описания не ясно
• Полный дуплекс: слушает и говорит одновременно
• Эмоции встроены: смех, паузы, всхлипы, усталость в голосе
• Сарказм и интонации собеседника считывает прямо из звука
• Отдельной языковой модели нет, знания берет из разговорных данных
• Работает локально на MacBook M4 Max или лучше
Публичного доступа нет, только исследователи по безопасности
techcrunch.com/2026/10/24/blocks-new-voice-model-sounds-eerily-human
#voicemode #tts #duplex #research
MAX
Голосовая модель от Block, лаборатории Джека Дорси. Обучена только на записях живой речи, без текстовых расшифровок в цепочке
Логика простая: обычные голосовые системы гоняют звук через текст и теряют тон, темп и все, что несет интонация. Здесь звук идет в звук, поэтому диалог звучит как разговор, а не как озвучка. Block называет это моментом GPT-3 для речи, хотя как именно управляется эмоция, из описания не ясно
• Полный дуплекс: слушает и говорит одновременно
• Эмоции встроены: смех, паузы, всхлипы, усталость в голосе
• Сарказм и интонации собеседника считывает прямо из звука
• Отдельной языковой модели нет, знания берет из разговорных данных
• Работает локально на MacBook M4 Max или лучше
Публичного доступа нет, только исследователи по безопасности
techcrunch.com/2026/10/24/blocks-new-voice-model-sounds-eerily-human
#voicemode #tts #duplex #research
MAX
👎4🥴3👍1
MLS Labs Renderer 2.1
Плагин гауссовых сплатов для Unreal Engine обновился до Pro 2.1. Из-за апгрейда сайта старые версии могут не пройти авторизацию, надо ставить новую.
• Рендер на Windows, Linux и Android
• Поддержка карт NVIDIA, AMD и мобильных GPU
• APK ставится на шлемы Pico и работает сразу
• Режимы VR и MR переключаются одним параметром
• Есть стриминг картинки на шлем
• ply, sog и последовательности ply на всех платформах
• Пакетирование Development и Shipping
• Ставится как обычный плагин, Libtorch и сторонние библиотеки больше не нужны
• Выложили тестовые данные для объемного видео
github.com/mlslabs/MLSLabsGaussianSplattingRenderer-UE
fab.com/s/a98e11b2a0a6
#UE #4d #gaussian
MAX
Плагин гауссовых сплатов для Unreal Engine обновился до Pro 2.1. Из-за апгрейда сайта старые версии могут не пройти авторизацию, надо ставить новую.
• Рендер на Windows, Linux и Android
• Поддержка карт NVIDIA, AMD и мобильных GPU
• APK ставится на шлемы Pico и работает сразу
• Режимы VR и MR переключаются одним параметром
• Есть стриминг картинки на шлем
• ply, sog и последовательности ply на всех платформах
• Пакетирование Development и Shipping
• Ставится как обычный плагин, Libtorch и сторонние библиотеки больше не нужны
• Выложили тестовые данные для объемного видео
github.com/mlslabs/MLSLabsGaussianSplattingRenderer-UE
fab.com/s/a98e11b2a0a6
#UE #4d #gaussian
MAX
🔥7❤1
This media is not supported in your browser
VIEW IN TELEGRAM
OpenKatana
Открытый видеоредактор с ИИ-агентом. Агент получает фото, ролики и музыку, сам пишет сцены и собирает готовый монтаж.
• Склейки, ускорения, переходы, движение камеры, разбор по битам, сведение звука
• 3D-сцены на WebGL, материалы, свет, пути камеры, морфы, есть вариант через Blender
• Анимированная типографика, многоязычный текст, маски, повторяемые эффекты
• Предпросмотр по кадрам, контроль движения, HDR и экспорт
• Проект остается редактируемым и лежит у вас на диске
• 72 инструмента для #CLI и #MCP
• Пять готовых приложений и 82 ноды для #ComfyUI
• Python 3.11+, FFmpeg и браузер, аккаунт не нужен
• Версия 0.1.0
#videoediting #agent
MAX
Открытый видеоредактор с ИИ-агентом. Агент получает фото, ролики и музыку, сам пишет сцены и собирает готовый монтаж.
• Склейки, ускорения, переходы, движение камеры, разбор по битам, сведение звука
• 3D-сцены на WebGL, материалы, свет, пути камеры, морфы, есть вариант через Blender
• Анимированная типографика, многоязычный текст, маски, повторяемые эффекты
• Предпросмотр по кадрам, контроль движения, HDR и экспорт
• Проект остается редактируемым и лежит у вас на диске
• 72 инструмента для #CLI и #MCP
• Пять готовых приложений и 82 ноды для #ComfyUI
• Python 3.11+, FFmpeg и браузер, аккаунт не нужен
• Версия 0.1.0
#videoediting #agent
MAX
👍14
This media is not supported in your browser
VIEW IN TELEGRAM
VizClick NormalCrafter
Ноды для ComfyUI для генерации карты нормалей на NormalCrafter
• Оценка нормалей на всем ролике, а не по каждому кадру отдельно
• Длинные клипы режутся на временные окна и склеиваются
• Стабилизатор на оптическом потоке из исходника убирает мерцание, не трогая настоящее движение
• Годится для релайта, перетекстурирования, реконструкции 3D и ссылок на видео в MiniMax H3 или Seedance
• Вторая нода не требует своей модели, отдельно качается только NormalCrafter
• Размер инференса настраивается, результат приводится обратно к исходному
• Стабилизатор на OpenCV, без второй нейросети
#video2normal #comfyui
MAX
Ноды для ComfyUI для генерации карты нормалей на NormalCrafter
• Оценка нормалей на всем ролике, а не по каждому кадру отдельно
• Длинные клипы режутся на временные окна и склеиваются
• Стабилизатор на оптическом потоке из исходника убирает мерцание, не трогая настоящее движение
• Годится для релайта, перетекстурирования, реконструкции 3D и ссылок на видео в MiniMax H3 или Seedance
• Вторая нода не требует своей модели, отдельно качается только NormalCrafter
• Размер инференса настраивается, результат приводится обратно к исходному
• Стабилизатор на OpenCV, без второй нейросети
#video2normal #comfyui
MAX
🔥8👍4
Накопилось по #minimaxH3 - часть 34
#LoRA #optimization
github.com/NVlabs/Sana/tree/sol-engine/models/minimax_h3/Sol-H3-ComfyUI - Sol-H3 от NVIDIA в составе Sol-Engine, теперь с ComfyUI-версией
huggingface.co/zjwfufu/SMD-MiniMax-H3-Ref2VA-8step - SMD 8-step LoRA uскоряет Ref2VA H3
huggingface.co/taobao-content-ai/MiniMax-H3-PTD-LoRAs - PTD: 8 и 4-шаговая акселерация Ref2VA от Taobao
huggingface.co/taobao-content-ai/MiniMax-H3-PTD-RefAsymOPD-LoRAs - PTD RefAsymOPD: вариант с рассинхронной позиционной дистилляцией
#Characterswap
modelscope.ai/models/akatz-a - Character Swap LoRA теперь и на ModelScope (V1.5 рекомендован): замена персонажа по референс-картинке, сохраняется сцена, движение, камера. Через Ref2VA
демо: huggingface.co/spaces/fffiloni/minimax-h3-character-swap-hero
huggingface.co/indhic-ai/Minimax-h3_Singularity_v2_pruned - Singularity v2 (pruned int8): файнтюн с фокусом на лица, динамику, HDR
huggingface.co/WarmBloodAban/Minimax-h3_Singularity - V2, обновленный: dual-sampling воркфлоу на RunningHub. Edit2 → pruned int8 #ref2va
github.com/NyckM/Bruxosdovfx-SyncTile-MiniMax-H3-v5.4 - Background Replace: замена фона через SyncTile (пространственные тайлы × временные окна, один trajectory без швов; VRAM — размер одного тайла). 4K/600 кадров. Плюс Background Replace v3 LoRA — мерж пяти чужих LoRAs (Facial Realism, Character Swap, Realism, Head Swap, VFX Edit)
#workflow
github.com/roycho87/Seamless_vlog_workflow - бесшовные влоги в один клик. Плюс ноды: seamless_video_combiner, minimax_continuous_audio_splitter, h3_clown_anchoring (латент предшествующего клипа маскируется в конец текущего для контекста движения, опция drop 17 кадров), comfyui-load-audio-batch-from-dir (пакетная загрузка аудио из папки)
github.com/Fish4AI/comfyui-SelfLift-Fish - selflift-Fish: длиннее и выше H3-видео на 16GB. Фикс фонового распухания от пространственного тайлинга. 10 сек 1920×1088: полное время 27:50 → 12:55 на 5070 Ti. VRAM 16GB — плюс система с offload
github.com/islomsalimov030-maker/ComfyUI-StacyLoop - StacyLoop: H3-петли, есть HandMask-маска рук (полезно для рецептов/рук-демо)
github.com/lovemachine100/ComfyUI-H3-ClipColorAnchor - ClipColorAnchor: остановка накопления цветового дрейфа при склейке клипов
github.com/exodius-b/ComfyUI-MiniMaxH3-VoiceShaper - VoiceShaper: слайдеры тембра, хрипоты, дыхания, темпа, проекции, акустики — превью голоса на тестовой фразе
github.com/witcherofresearch/minimax-h3-image-restyle и huggingface.co/witcherderivia/minimax-h3-image-restyle - рестайлинг картинки под H3, без инструкций и воркфлоу пока
youtube.com/watch?v=8r3-z6BrKXg - быстрый сторибординг на 3060 12Gb: средний сториборд на 10 минут за 3–4 дня. #storyboard
youtube.com/watch?v=SzqMV4S1908 - профессиональный #faceswap : H3 + FaceFusion + Face Fix
———
huggingface.co/Kijai/MiniMax-H3-experimental/blob/main/loras/minimax_h3_singularity_v2_lora_avg_rank_351_bf16.safetensors - Kijai собрал фичи Singularity 2.0 в LoRA для обычного H3 (rank 351, bf16) — без загрузки самого файнтюна
huggingface.co/silveroxides/MiniMax-H3_tests - папка тестов Silveroxides: кванты, LoRAs и побеждённые версии H3
huggingface.co/OliviaRossi/Minimax-h3_Singularity-x-10Eros-Max_PRISM - мерж Singularity с 10Eros Max (PRISM)
#LoRA #optimization
github.com/NVlabs/Sana/tree/sol-engine/models/minimax_h3/Sol-H3-ComfyUI - Sol-H3 от NVIDIA в составе Sol-Engine, теперь с ComfyUI-версией
huggingface.co/zjwfufu/SMD-MiniMax-H3-Ref2VA-8step - SMD 8-step LoRA uскоряет Ref2VA H3
huggingface.co/taobao-content-ai/MiniMax-H3-PTD-LoRAs - PTD: 8 и 4-шаговая акселерация Ref2VA от Taobao
huggingface.co/taobao-content-ai/MiniMax-H3-PTD-RefAsymOPD-LoRAs - PTD RefAsymOPD: вариант с рассинхронной позиционной дистилляцией
#Characterswap
modelscope.ai/models/akatz-a - Character Swap LoRA теперь и на ModelScope (V1.5 рекомендован): замена персонажа по референс-картинке, сохраняется сцена, движение, камера. Через Ref2VA
демо: huggingface.co/spaces/fffiloni/minimax-h3-character-swap-hero
huggingface.co/indhic-ai/Minimax-h3_Singularity_v2_pruned - Singularity v2 (pruned int8): файнтюн с фокусом на лица, динамику, HDR
huggingface.co/WarmBloodAban/Minimax-h3_Singularity - V2, обновленный: dual-sampling воркфлоу на RunningHub. Edit2 → pruned int8 #ref2va
github.com/NyckM/Bruxosdovfx-SyncTile-MiniMax-H3-v5.4 - Background Replace: замена фона через SyncTile (пространственные тайлы × временные окна, один trajectory без швов; VRAM — размер одного тайла). 4K/600 кадров. Плюс Background Replace v3 LoRA — мерж пяти чужих LoRAs (Facial Realism, Character Swap, Realism, Head Swap, VFX Edit)
#workflow
github.com/roycho87/Seamless_vlog_workflow - бесшовные влоги в один клик. Плюс ноды: seamless_video_combiner, minimax_continuous_audio_splitter, h3_clown_anchoring (латент предшествующего клипа маскируется в конец текущего для контекста движения, опция drop 17 кадров), comfyui-load-audio-batch-from-dir (пакетная загрузка аудио из папки)
github.com/Fish4AI/comfyui-SelfLift-Fish - selflift-Fish: длиннее и выше H3-видео на 16GB. Фикс фонового распухания от пространственного тайлинга. 10 сек 1920×1088: полное время 27:50 → 12:55 на 5070 Ti. VRAM 16GB — плюс система с offload
github.com/islomsalimov030-maker/ComfyUI-StacyLoop - StacyLoop: H3-петли, есть HandMask-маска рук (полезно для рецептов/рук-демо)
github.com/lovemachine100/ComfyUI-H3-ClipColorAnchor - ClipColorAnchor: остановка накопления цветового дрейфа при склейке клипов
github.com/exodius-b/ComfyUI-MiniMaxH3-VoiceShaper - VoiceShaper: слайдеры тембра, хрипоты, дыхания, темпа, проекции, акустики — превью голоса на тестовой фразе
github.com/witcherofresearch/minimax-h3-image-restyle и huggingface.co/witcherderivia/minimax-h3-image-restyle - рестайлинг картинки под H3, без инструкций и воркфлоу пока
youtube.com/watch?v=8r3-z6BrKXg - быстрый сторибординг на 3060 12Gb: средний сториборд на 10 минут за 3–4 дня. #storyboard
youtube.com/watch?v=SzqMV4S1908 - профессиональный #faceswap : H3 + FaceFusion + Face Fix
———
huggingface.co/Kijai/MiniMax-H3-experimental/blob/main/loras/minimax_h3_singularity_v2_lora_avg_rank_351_bf16.safetensors - Kijai собрал фичи Singularity 2.0 в LoRA для обычного H3 (rank 351, bf16) — без загрузки самого файнтюна
huggingface.co/silveroxides/MiniMax-H3_tests - папка тестов Silveroxides: кванты, LoRAs и побеждённые версии H3
huggingface.co/OliviaRossi/Minimax-h3_Singularity-x-10Eros-Max_PRISM - мерж Singularity с 10Eros Max (PRISM)
👍17🌚2🔥1
MiniMax обновили каталог community-наработок вокруг #MiniMaxH3
11 новых позиций: меньше шагов, больше контроля по референсам и больше железа, где все это запускается.
• FastH3-Omni на восемь шагов: видео со звуком по картинкам, роликам и аудио
• Sol-H3: дистилляция до четырех шагов с разреженным вниманием
• Ref2VA-VSA: то же внимание, но для референсного режима, автор обещает вдвое быстрее на 4090
• VPack: сжатие референсного видео, меньше токенов на входе
• Ref Patch на 148 МБ, чтобы keyframe-модель вела себя как референсная
• Запуск на серверах с GPU, на TPU через TorchTPU и на Apple Silicon через h3.c
• Полный набор весов около 464 ГБ
• Для карты на 24 ГБ хватает pruned int8 на 19,5 ГБ
• Для 12-16 ГБ есть GGUF Q4_K_M и квантованный текстовый энкодер
• На 8 ГБ работает путь через DiffSynth-Studio, но будет медленно
• На одной B200 клип 768p на 14 секунд считается за 51 секунду, на восьми за 11
Каталог ведут сами MiniMax но все перечисленное сделано сообществом
github.com/MiniMax-AI/awesome-minimax-h3-integration
———
huggingface.co/LiconStudio/Minimax-H3-VBVR - #LoRA #i2v для H3 на переработанных данных VBVR. Меньше дублирования объектов, клиппинга и взаимопроникновений, логичнее действия персонажей
huggingface.co/lightx2v/Minimax-h3-Turbo - обновлены классические турболоры от LightX2V: FL2V v1.3 и REF2V v1.1 (4-step), 8-step v1.1. Есть 4-step FL2V в fp8
11 новых позиций: меньше шагов, больше контроля по референсам и больше железа, где все это запускается.
• FastH3-Omni на восемь шагов: видео со звуком по картинкам, роликам и аудио
• Sol-H3: дистилляция до четырех шагов с разреженным вниманием
• Ref2VA-VSA: то же внимание, но для референсного режима, автор обещает вдвое быстрее на 4090
• VPack: сжатие референсного видео, меньше токенов на входе
• Ref Patch на 148 МБ, чтобы keyframe-модель вела себя как референсная
• Запуск на серверах с GPU, на TPU через TorchTPU и на Apple Silicon через h3.c
• Полный набор весов около 464 ГБ
• Для карты на 24 ГБ хватает pruned int8 на 19,5 ГБ
• Для 12-16 ГБ есть GGUF Q4_K_M и квантованный текстовый энкодер
• На 8 ГБ работает путь через DiffSynth-Studio, но будет медленно
• На одной B200 клип 768p на 14 секунд считается за 51 секунду, на восьми за 11
Каталог ведут сами MiniMax но все перечисленное сделано сообществом
github.com/MiniMax-AI/awesome-minimax-h3-integration
———
huggingface.co/LiconStudio/Minimax-H3-VBVR - #LoRA #i2v для H3 на переработанных данных VBVR. Меньше дублирования объектов, клиппинга и взаимопроникновений, логичнее действия персонажей
huggingface.co/lightx2v/Minimax-h3-Turbo - обновлены классические турболоры от LightX2V: FL2V v1.3 и REF2V v1.1 (4-step), 8-step v1.1. Есть 4-step FL2V в fp8
🔥13👍4❤1🥴1
Media is too big
VIEW IN TELEGRAM
Speculative Sampling
Способ сделать интерактивными двунаправленные видеомодели без обучения. Обычно за скорость платят маленьким окном внимания и теряют качество. Здесь окно остается большим, а отклик ускоряется.
Идея в том, что размер окна превращается из ограничения в ручку настройки. Привязки к конкретной модели нет
• Генерация крупного куска вперед в расчете, что условие не поменяется
• Предсказания копятся в кэше и выдаются по мере проигрывания
• Поменялся ввод: неизменяемый префикс остается, хвост пересчитывается
• Два состояния: раздача из кэша и досчет нового
• MiniMax H3 стала интерактивной примерно с 1,4 секунды до первого отклика
• Кусок на пять секунд за раз, без пост-обучения в духе Self-Forcing
• Ожидание больше не упирается в половину длительности куска
• Увеличение куска почти не бьет по времени шага, ядра недогружены
github.com/Yubo-Shankui/SpeculativeSampling
#optimization
Способ сделать интерактивными двунаправленные видеомодели без обучения. Обычно за скорость платят маленьким окном внимания и теряют качество. Здесь окно остается большим, а отклик ускоряется.
Идея в том, что размер окна превращается из ограничения в ручку настройки. Привязки к конкретной модели нет
• Генерация крупного куска вперед в расчете, что условие не поменяется
• Предсказания копятся в кэше и выдаются по мере проигрывания
• Поменялся ввод: неизменяемый префикс остается, хвост пересчитывается
• Два состояния: раздача из кэша и досчет нового
• MiniMax H3 стала интерактивной примерно с 1,4 секунды до первого отклика
• Кусок на пять секунд за раз, без пост-обучения в духе Self-Forcing
• Ожидание больше не упирается в половину длительности куска
• Увеличение куска почти не бьет по времени шага, ядра недогружены
github.com/Yubo-Shankui/SpeculativeSampling
#optimization
👍10🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Mundo
Интерактивный трехмерный мир из нескольких снимков места. На вход от одной до дюжины фотографий, на выход сцена, по которой можно вести камеру, ронять предметы и запускать роботов
Геометрия и физика считаются честно, а вид дорисовывается по исходным фото, поэтому обстановка не плывет
• Прогулка по заданному пути камеры, включая зоны, которых на снимках не было
• Старт возможен с одной картинки, стиль и структура переносятся в новые ракурсы
• Чем больше исходных видов, тем меньше домыслов по краям
• Длинные маршруты по большим сценам, нарезка на куски с перекрытием
• Физика: масса, трение, гравитация, столкновения
• Мир описывается кодом, считает MuJoCo, картинку собирает видеомодель
• Остановка времени и облет выбранного момента
• Навигация и захват предметов для роботов, с обзором от первого лица
github.com/Luo-Yihang/Mundo
Спасибо @m_franz
#interactive #3d #imageto3d #image2scene
MAX
Интерактивный трехмерный мир из нескольких снимков места. На вход от одной до дюжины фотографий, на выход сцена, по которой можно вести камеру, ронять предметы и запускать роботов
Геометрия и физика считаются честно, а вид дорисовывается по исходным фото, поэтому обстановка не плывет
• Прогулка по заданному пути камеры, включая зоны, которых на снимках не было
• Старт возможен с одной картинки, стиль и структура переносятся в новые ракурсы
• Чем больше исходных видов, тем меньше домыслов по краям
• Длинные маршруты по большим сценам, нарезка на куски с перекрытием
• Физика: масса, трение, гравитация, столкновения
• Мир описывается кодом, считает MuJoCo, картинку собирает видеомодель
• Остановка времени и облет выбранного момента
• Навигация и захват предметов для роботов, с обзором от первого лица
github.com/Luo-Yihang/Mundo
Спасибо @m_franz
#interactive #3d #imageto3d #image2scene
MAX
👀9👍5❤4