Media is too big
VIEW IN TELEGRAM
Speculative Sampling
Способ сделать интерактивными двунаправленные видеомодели без обучения. Обычно за скорость платят маленьким окном внимания и теряют качество. Здесь окно остается большим, а отклик ускоряется.
Идея в том, что размер окна превращается из ограничения в ручку настройки. Привязки к конкретной модели нет
• Генерация крупного куска вперед в расчете, что условие не поменяется
• Предсказания копятся в кэше и выдаются по мере проигрывания
• Поменялся ввод: неизменяемый префикс остается, хвост пересчитывается
• Два состояния: раздача из кэша и досчет нового
• MiniMax H3 стала интерактивной примерно с 1,4 секунды до первого отклика
• Кусок на пять секунд за раз, без пост-обучения в духе Self-Forcing
• Ожидание больше не упирается в половину длительности куска
• Увеличение куска почти не бьет по времени шага, ядра недогружены
github.com/Yubo-Shankui/SpeculativeSampling
#optimization
Способ сделать интерактивными двунаправленные видеомодели без обучения. Обычно за скорость платят маленьким окном внимания и теряют качество. Здесь окно остается большим, а отклик ускоряется.
Идея в том, что размер окна превращается из ограничения в ручку настройки. Привязки к конкретной модели нет
• Генерация крупного куска вперед в расчете, что условие не поменяется
• Предсказания копятся в кэше и выдаются по мере проигрывания
• Поменялся ввод: неизменяемый префикс остается, хвост пересчитывается
• Два состояния: раздача из кэша и досчет нового
• MiniMax H3 стала интерактивной примерно с 1,4 секунды до первого отклика
• Кусок на пять секунд за раз, без пост-обучения в духе Self-Forcing
• Ожидание больше не упирается в половину длительности куска
• Увеличение куска почти не бьет по времени шага, ядра недогружены
github.com/Yubo-Shankui/SpeculativeSampling
#optimization
👍10🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Mundo
Интерактивный трехмерный мир из нескольких снимков места. На вход от одной до дюжины фотографий, на выход сцена, по которой можно вести камеру, ронять предметы и запускать роботов
Геометрия и физика считаются честно, а вид дорисовывается по исходным фото, поэтому обстановка не плывет
• Прогулка по заданному пути камеры, включая зоны, которых на снимках не было
• Старт возможен с одной картинки, стиль и структура переносятся в новые ракурсы
• Чем больше исходных видов, тем меньше домыслов по краям
• Длинные маршруты по большим сценам, нарезка на куски с перекрытием
• Физика: масса, трение, гравитация, столкновения
• Мир описывается кодом, считает MuJoCo, картинку собирает видеомодель
• Остановка времени и облет выбранного момента
• Навигация и захват предметов для роботов, с обзором от первого лица
github.com/Luo-Yihang/Mundo
Спасибо @m_franz
#interactive #3d #imageto3d #image2scene
MAX
Интерактивный трехмерный мир из нескольких снимков места. На вход от одной до дюжины фотографий, на выход сцена, по которой можно вести камеру, ронять предметы и запускать роботов
Геометрия и физика считаются честно, а вид дорисовывается по исходным фото, поэтому обстановка не плывет
• Прогулка по заданному пути камеры, включая зоны, которых на снимках не было
• Старт возможен с одной картинки, стиль и структура переносятся в новые ракурсы
• Чем больше исходных видов, тем меньше домыслов по краям
• Длинные маршруты по большим сценам, нарезка на куски с перекрытием
• Физика: масса, трение, гравитация, столкновения
• Мир описывается кодом, считает MuJoCo, картинку собирает видеомодель
• Остановка времени и облет выбранного момента
• Навигация и захват предметов для роботов, с обзором от первого лица
github.com/Luo-Yihang/Mundo
Спасибо @m_franz
#interactive #3d #imageto3d #image2scene
MAX
👀9👍5❤4
This media is not supported in your browser
VIEW IN TELEGRAM
SOMA
Реконструкция работы мышц по обычной многокамерной съемке. На вход поза и вид кожи, на выход смещения внутренних мышц и слоя кожи поверх них.
• Анатомия в несколько слоев: кожа, мышцы, скелет
• Покадровая деформация мышц по позе
• Отдельные мышцы в высоком разрешении, а не одна общая оболочка
• Кожа скользит и сжимается поверх мышцы, а не едет за ней жестко
• Работает без тяжелого конечно-элементного моделирования
Датасет SKIM собран специально: по маркерам на коже внутренние мышцы не восстановить, поэтому есть и сканы тела, и привязка маркеров к отдельным мышцам. Сеть дополнительно держат физические ограничения: гладкость, сопротивление изгибу, сохранение объема.
github.com/edualvarado/SOMA
#hmr
MAX
Реконструкция работы мышц по обычной многокамерной съемке. На вход поза и вид кожи, на выход смещения внутренних мышц и слоя кожи поверх них.
• Анатомия в несколько слоев: кожа, мышцы, скелет
• Покадровая деформация мышц по позе
• Отдельные мышцы в высоком разрешении, а не одна общая оболочка
• Кожа скользит и сжимается поверх мышцы, а не едет за ней жестко
• Работает без тяжелого конечно-элементного моделирования
Датасет SKIM собран специально: по маркерам на коже внутренние мышцы не восстановить, поэтому есть и сканы тела, и привязка маркеров к отдельным мышцам. Сеть дополнительно держат физические ограничения: гладкость, сопротивление изгибу, сохранение объема.
github.com/edualvarado/SOMA
#hmr
MAX
🔥11👍2🤷♂1
#MossImage
#optimization
github.com/Rkkss/ComfyUI-Spectrum-MOSS - важные новые настройки для euler/er-sde. Пользователям er-sde обновляться до v0.8.1 (новая логика моста ER-SDE) — на 3060 12Gb прирост ~20%
github.com/Comfy-Org/ComfyUI/pull/17237 - минорный фикс для недавней поддержки цвета/глубины MOSS
huggingface.co/Harsha001/MOSS-Image-SFT-ROCmFPX - конверсия MOSS-Image-SFT для AMD (ROCm)
#imageediting
huggingface.co/akhaliq/MOSS-Image-Edit-HQ - вышла HQ v3, потом v5 (LoRA MOSS-Image-Edit)
github.com/Chenkin-x/ComfyUI-Moss-Image-Edit - MOSS-Image Edit под Base и SFT. Необычный объединенный лоадер модель+LoRA не запускается. github.com/Comfy-Org/ComfyUI/pull/17296 официально вмержен в ComfyUI
github.com/PedroMarinhoDev/ComfyUI-Moss-Image-Edit-Native - нативные эдит-ноды: поддержка HQ и chinoll LoRAs через edit_format. Протестированные дефолты (strength 1.0, CFG 5/3, skip layer 22, SFT). Кеш референсов. chinoll для ComfyUI: huggingface.co/PedroMarinhoDev/Moss-Image-Edit-ComfyUI
#LoRA
huggingface.co/Kandoo/MOSS-Image-Impressionism-LoRA - импрессионизм, обучен на 51 картине паблик-домена
civitai.com/models/3016783/surrealist-paintings-or-moss-image-lora - сюрреализм
civitai.com/models/3014665/hitoon-style-moss-image - HiToon: качественная 2/2.5D диджитал иллюстрация
#slider
civitai.com/models/3016826/brightness-slider-moss
civitai.com/models/3016502/white-balance-slider-moss
civitai.com/models/3016367/contrasthdr-slider-moss
базовые слайдеры яркости, баланса белого, приглушения #HDR
#prompting #controlnet
github.com/comfyanonymous/MOSS_image_MAX_ULTRA_hires_lora_test - LoHA-адаптер под 4Mpx+
civitai.com/models/3017655 - лора на генерацию #t2i с альфаканалом #rgba
mossimage.studio/blog/moss-image-prompt-guide - неофициальный гайд по MOSS-промптам
youtube.com/watch?v=e3gsjI-hxCY - туториал: три способа контроля MOSS — JSON-промпты с координатами, BBox, цвето-глубина ControlNet (Canny тоже работает)
#PE
ollama.com/dutchit/moss-image-prompt-enhancer - Ollama-модель из официального скилла: короткая идея → расширенный промпт (caption и layout-режимы с боксами). Офлайн через ollama-ноду, системный промпт не нужен
github.com/silly2342/ComfyUI-Alt-Prompt - A1111-стиль чередующиеся и переключаемые промпты для MOSS. Примеры и воркфлоу
Инструменты и редакторы
github.com/Lotus0614/moss-manga-editor - манга: генерация через агент/скилл + ручная правка контента. Годится и для западных комиксов
github.com/cOkieeman/ComfyUI-Soda-Storyboard - импорт storyboard-бандлов / MOSS .JSON, превью, страничные воркфлоу. Пригодится и для комикс-страниц
#training
github.com/waw1w1/moss_image_trainer - тренер LoRA и LyCORIS для MOSS-Image Base
github.com/storyAura/Comfyui-LoraQKV-Fix - чинит загрузку LoRA в ComfyUI: разница разделение/слияние q/k/v и ключи разных тренеров
github.com/ukr8b3g-cmyk/LoRA-Blend-One - блендер нескольких LoRA MOSS в один .safetensors в ComfyUI
github.com/supElement/ComfyUI-Element_TileEdit - тайловый рефайн/эдит/апскейл MOSS с консистентностью между тайлами
github.com/Kostik2702/ComfyUI-MossPhoton - ноды для SFT: сэмплер бит-в-бит как нативный граф, профиль LoRA без протечек между задачами, промпт-нода не переписывает текст
github.com/paoloinverse/MOSS-Image-Toriigate-dataset-autocaptioner - авто-капшены для датасета LoRA через локальный llama.cpp/LLM
github.com/ukr8b3g-cmyk/ComfyUI-MOSS-Shift-Scheduler - три сигма-шедулера для MOSS: Shift, Curve, Sigma
github.com/smile-forge/moss-image-onnx - MOSS-Image для ONNX
Обучение и советы
reddit.com/r/StableDiffusion/comments/1xeunzs - советы по тренировке character LoRA + конфиг Automagic
old.reddit.com/r/malcolmrey/comments/1xdyjea - тренировка лика лица character LoKR: подробные настройки
github.com/kaixin20190930/mossimage-prompts - коллекция проверенных промптов + советы новичкам
❗️ MOSS-Image промптит до 4096 токенов, но хвост промпта влияет на картинку
#optimization
github.com/Rkkss/ComfyUI-Spectrum-MOSS - важные новые настройки для euler/er-sde. Пользователям er-sde обновляться до v0.8.1 (новая логика моста ER-SDE) — на 3060 12Gb прирост ~20%
github.com/Comfy-Org/ComfyUI/pull/17237 - минорный фикс для недавней поддержки цвета/глубины MOSS
huggingface.co/Harsha001/MOSS-Image-SFT-ROCmFPX - конверсия MOSS-Image-SFT для AMD (ROCm)
#imageediting
huggingface.co/akhaliq/MOSS-Image-Edit-HQ - вышла HQ v3, потом v5 (LoRA MOSS-Image-Edit)
github.com/Chenkin-x/ComfyUI-Moss-Image-Edit - MOSS-Image Edit под Base и SFT. Необычный объединенный лоадер модель+LoRA не запускается. github.com/Comfy-Org/ComfyUI/pull/17296 официально вмержен в ComfyUI
github.com/PedroMarinhoDev/ComfyUI-Moss-Image-Edit-Native - нативные эдит-ноды: поддержка HQ и chinoll LoRAs через edit_format. Протестированные дефолты (strength 1.0, CFG 5/3, skip layer 22, SFT). Кеш референсов. chinoll для ComfyUI: huggingface.co/PedroMarinhoDev/Moss-Image-Edit-ComfyUI
#LoRA
huggingface.co/Kandoo/MOSS-Image-Impressionism-LoRA - импрессионизм, обучен на 51 картине паблик-домена
civitai.com/models/3016783/surrealist-paintings-or-moss-image-lora - сюрреализм
civitai.com/models/3014665/hitoon-style-moss-image - HiToon: качественная 2/2.5D диджитал иллюстрация
#slider
civitai.com/models/3016826/brightness-slider-moss
civitai.com/models/3016502/white-balance-slider-moss
civitai.com/models/3016367/contrasthdr-slider-moss
базовые слайдеры яркости, баланса белого, приглушения #HDR
#prompting #controlnet
github.com/comfyanonymous/MOSS_image_MAX_ULTRA_hires_lora_test - LoHA-адаптер под 4Mpx+
civitai.com/models/3017655 - лора на генерацию #t2i с альфаканалом #rgba
mossimage.studio/blog/moss-image-prompt-guide - неофициальный гайд по MOSS-промптам
youtube.com/watch?v=e3gsjI-hxCY - туториал: три способа контроля MOSS — JSON-промпты с координатами, BBox, цвето-глубина ControlNet (Canny тоже работает)
#PE
ollama.com/dutchit/moss-image-prompt-enhancer - Ollama-модель из официального скилла: короткая идея → расширенный промпт (caption и layout-режимы с боксами). Офлайн через ollama-ноду, системный промпт не нужен
github.com/silly2342/ComfyUI-Alt-Prompt - A1111-стиль чередующиеся и переключаемые промпты для MOSS. Примеры и воркфлоу
Инструменты и редакторы
github.com/Lotus0614/moss-manga-editor - манга: генерация через агент/скилл + ручная правка контента. Годится и для западных комиксов
github.com/cOkieeman/ComfyUI-Soda-Storyboard - импорт storyboard-бандлов / MOSS .JSON, превью, страничные воркфлоу. Пригодится и для комикс-страниц
#training
github.com/waw1w1/moss_image_trainer - тренер LoRA и LyCORIS для MOSS-Image Base
github.com/storyAura/Comfyui-LoraQKV-Fix - чинит загрузку LoRA в ComfyUI: разница разделение/слияние q/k/v и ключи разных тренеров
github.com/ukr8b3g-cmyk/LoRA-Blend-One - блендер нескольких LoRA MOSS в один .safetensors в ComfyUI
github.com/supElement/ComfyUI-Element_TileEdit - тайловый рефайн/эдит/апскейл MOSS с консистентностью между тайлами
github.com/Kostik2702/ComfyUI-MossPhoton - ноды для SFT: сэмплер бит-в-бит как нативный граф, профиль LoRA без протечек между задачами, промпт-нода не переписывает текст
github.com/paoloinverse/MOSS-Image-Toriigate-dataset-autocaptioner - авто-капшены для датасета LoRA через локальный llama.cpp/LLM
github.com/ukr8b3g-cmyk/ComfyUI-MOSS-Shift-Scheduler - три сигма-шедулера для MOSS: Shift, Curve, Sigma
github.com/smile-forge/moss-image-onnx - MOSS-Image для ONNX
Обучение и советы
reddit.com/r/StableDiffusion/comments/1xeunzs - советы по тренировке character LoRA + конфиг Automagic
old.reddit.com/r/malcolmrey/comments/1xdyjea - тренировка лика лица character LoKR: подробные настройки
github.com/kaixin20190930/mossimage-prompts - коллекция проверенных промптов + советы новичкам
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12❤1
Hy-SimulMT
Синхронный перевод живой речи между китайским и английским в обе стороны. Аудио приходит потоком, перевод текстом и голосом выдается по ходу разговора, без ожидания конца фразы.
• Перевод во время речи, а не после
• Клонирование голоса на лету, тембр говорящего сохраняется
• Вывод и текстом, и синтезированной речью
• Для встреч, докладов и интервью, есть приложение Hy Translate
• 30 млрд параметров, 3 млрд активных на токен
• Задержка около 3 секунд по метрике StreamLAAL на длинном аудио RealSI
• RealSI-Sentence 84,7, выше всех в сравнении
• FLEURS 90,3 и ACL6060 81,2, у Gemini в первом случае 92,4
• Качество по GEMBA выше четырех коммерческих API из пяти
Отдельно авторы посадили шесть профессиональных синхронистов на 18 свежих записей по шесть минут из десяти разных сфер. Качество вышло на уровне людей, а отвечает система часто быстрее. Для синтеза и клонирования нужен свой TTS-сервис, в репозитории лежат инференс и обучение.
huggingface.co/tencent/Hy-SimulMT-30B-A3B
github.com/Tencent-Hunyuan/Hy-SimulMT
#translation
MAX
Синхронный перевод живой речи между китайским и английским в обе стороны. Аудио приходит потоком, перевод текстом и голосом выдается по ходу разговора, без ожидания конца фразы.
• Перевод во время речи, а не после
• Клонирование голоса на лету, тембр говорящего сохраняется
• Вывод и текстом, и синтезированной речью
• Для встреч, докладов и интервью, есть приложение Hy Translate
• 30 млрд параметров, 3 млрд активных на токен
• Задержка около 3 секунд по метрике StreamLAAL на длинном аудио RealSI
• RealSI-Sentence 84,7, выше всех в сравнении
• FLEURS 90,3 и ACL6060 81,2, у Gemini в первом случае 92,4
• Качество по GEMBA выше четырех коммерческих API из пяти
Отдельно авторы посадили шесть профессиональных синхронистов на 18 свежих записей по шесть минут из десяти разных сфер. Качество вышло на уровне людей, а отвечает система часто быстрее. Для синтеза и клонирования нужен свой TTS-сервис, в репозитории лежат инференс и обучение.
huggingface.co/tencent/Hy-SimulMT-30B-A3B
github.com/Tencent-Hunyuan/Hy-SimulMT
#translation
MAX
huggingface.co
tencent/Hy-SimulMT-30B-A3B · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
👍8
Recursive Flint
Открытая модель под кодинг-агенты от Recursive Superintelligence. Задача прикладная: разобрать незнакомый репозиторий, починить баг, добавить функцию, дописать тесты.
• Разбор чужих кодовых баз и точечные правки
• Многошаговые вызовы инструментов и режим рассуждений
• Работает в llama.cpp, Ollama, LM Studio, vLLM и SGLang
• Свои ядра под Apple Silicon и NVIDIA, для ноутбуков отдельный движок rec
• 39,8B, около 2,5 B активных
• Контекст 262 К
• 49 слоев, 256 экспертов в каждом, выбираются шесть плюс один общий
• Больше 125 токенов в секунду на M4 Pro, больше 150 на RTX Spark
Команда называет Flint лучшей MoE-моделью до 50 млрд параметров и говорит, что та догоняет плотные модели на 25-40 млрд, работая впятеро быстрее. Собрали меньше чем за четыре месяца
huggingface.co/RecursiveSI/flint
github.com/recursive-oss/rec
#coding #agent
MAX
Открытая модель под кодинг-агенты от Recursive Superintelligence. Задача прикладная: разобрать незнакомый репозиторий, починить баг, добавить функцию, дописать тесты.
• Разбор чужих кодовых баз и точечные правки
• Многошаговые вызовы инструментов и режим рассуждений
• Работает в llama.cpp, Ollama, LM Studio, vLLM и SGLang
• Свои ядра под Apple Silicon и NVIDIA, для ноутбуков отдельный движок rec
• 39,8B, около 2,5 B активных
• Контекст 262 К
• 49 слоев, 256 экспертов в каждом, выбираются шесть плюс один общий
• Больше 125 токенов в секунду на M4 Pro, больше 150 на RTX Spark
Команда называет Flint лучшей MoE-моделью до 50 млрд параметров и говорит, что та догоняет плотные модели на 25-40 млрд, работая впятеро быстрее. Собрали меньше чем за четыре месяца
huggingface.co/RecursiveSI/flint
github.com/recursive-oss/rec
#coding #agent
MAX
🔥6👍4🤔2
TAKE STUDIO
Демоспейс - веб-студия для озвучки сцен на Drama 3
Идея в том, что режиссура актера не должна требовать разбора интерфейса.
• Поток в четыре шага: написал, срежиссировал, послушал, поправил
• Сценарий и реплики в одном окне, без россыпи ползунков
• Работа на Drama 3 с управлением эмоцией и подачей
• Ничего не ставить локально, все считается в браузере
#tts #directing
MAX
Демоспейс - веб-студия для озвучки сцен на Drama 3
Идея в том, что режиссура актера не должна требовать разбора интерфейса.
• Поток в четыре шага: написал, срежиссировал, послушал, поправил
• Сценарий и реплики в одном окне, без россыпи ползунков
• Работа на Drama 3 с управлением эмоцией и подачей
• Ничего не ставить локально, все считается в браузере
#tts #directing
MAX
👍6❤1
This media is not supported in your browser
VIEW IN TELEGRAM
GPT-6.1 Terra
Быстрая и дешевая модель OpenAI с упором на визуальное понимание, работу в интерфейсах и письмо. Заменяет GPT-5.6 Terra, но заметно экономичнее.
• Разбор чертежей, таблиц и скриншотов с переходом к действию
• Работа в десктопных приложениях: формы, документы, монтаж видео
• Текст стал чище и естественнее
• Справляется с задачами, где раньше требовался фронтир
• API вдвое дешевле, чем у GPT-5.6 Terra и GPT-6.1 Sol
• 1 доллар за миллион входных токенов, 5 за выходные, кэш по 0,05
• На Agents' Last Exam плюс 15 процентных пунктов к прошлой версии при трети затрат
• С GPT-6 Astra идет наравне, но при цене в десять раз ниже
• Больше чем втрое быстрее Astra и Sol
• Ошибки на провокационных промптах: с 53,6 до 16,7% при низком усилии
• Terminal-Bench 4.0: 50,3% против 21,5 у прошлой версии
Для сложного кода по-прежнему советуют Sol и Astra. Доступна в ChatGPT Work, Codex и через API.
#news
Быстрая и дешевая модель OpenAI с упором на визуальное понимание, работу в интерфейсах и письмо. Заменяет GPT-5.6 Terra, но заметно экономичнее.
• Разбор чертежей, таблиц и скриншотов с переходом к действию
• Работа в десктопных приложениях: формы, документы, монтаж видео
• Текст стал чище и естественнее
• Справляется с задачами, где раньше требовался фронтир
• API вдвое дешевле, чем у GPT-5.6 Terra и GPT-6.1 Sol
• 1 доллар за миллион входных токенов, 5 за выходные, кэш по 0,05
• На Agents' Last Exam плюс 15 процентных пунктов к прошлой версии при трети затрат
• С GPT-6 Astra идет наравне, но при цене в десять раз ниже
• Больше чем втрое быстрее Astra и Sol
• Ошибки на провокационных промптах: с 53,6 до 16,7% при низком усилии
• Terminal-Bench 4.0: 50,3% против 21,5 у прошлой версии
Для сложного кода по-прежнему советуют Sol и Astra. Доступна в ChatGPT Work, Codex и через API.
#news
👍8
Media is too big
VIEW IN TELEGRAM
MotionBricks
Генератор движений в реальном времени от NVIDIA: одна нейросеть на 350 тысяч навыков, 15 тысяч fps и задержка около 2 мс. До этого было только для Unitree G1
• Ходьба, бег, повороты по командам скорости и направления
• Стили: хромающий, зомби, подпрыгивающий, боком, боевой
• Переходы между стилями и походками прямо в рантайме
• Взаимодействие с предметами: поднять меч, сесть, перепрыгнуть скамью
• Новые задачи без дообучения и без тегов под задачу
• Движение считается для двух тел: человеческого SOMA и робота Unitree G1
• Готовые модели идут в ONNX, чекпоинты на Hugging Face
• Прокси-кадры задают взаимодействие, подход и контакт сеть додумывает сама
• Рантайм на Warp, Newton и TensorRT, есть экспортер в ONNX
• Демо на Unreal Engine 5 длиной 2:40 без склеек, фиксации стоп и ручных переходов
github.com/NVlabs/motionbricks
#animation #3d
Генератор движений в реальном времени от NVIDIA: одна нейросеть на 350 тысяч навыков, 15 тысяч fps и задержка около 2 мс. До этого было только для Unitree G1
• Ходьба, бег, повороты по командам скорости и направления
• Стили: хромающий, зомби, подпрыгивающий, боком, боевой
• Переходы между стилями и походками прямо в рантайме
• Взаимодействие с предметами: поднять меч, сесть, перепрыгнуть скамью
• Новые задачи без дообучения и без тегов под задачу
• Движение считается для двух тел: человеческого SOMA и робота Unitree G1
• Готовые модели идут в ONNX, чекпоинты на Hugging Face
• Прокси-кадры задают взаимодействие, подход и контакт сеть додумывает сама
• Рантайм на Warp, Newton и TensorRT, есть экспортер в ONNX
• Демо на Unreal Engine 5 длиной 2:40 без склеек, фиксации стоп и ручных переходов
github.com/NVlabs/motionbricks
#animation #3d
🔥24
This media is not supported in your browser
VIEW IN TELEGRAM
Игры в Snapchat на PlayCanvas
Snapchat открыл Web Lenses: веб-игру можно упаковать в архив и опубликовать как Lens, без установки и магазина. Snap рекомендует PlayCanvas как основной движок. То есть, можно работать с 2D, 3D, WebGPU и сплатами
• Экспорт из PlayCanvas в zip и загрузка через My Lenses
• Запуск сразу в приложении, по имени или Snapcode
• Таблицы лидеров, Bitmoji и сохранения через API
• Работают 2D, 3D, WebGPU и гауссовы сплаты
• Сборка агентом через MCP или генерация в Easy Lens по промпту
• Архив до 8 МБ, index.html до 1 МБ
• Портретный экран 9:16, iOS и Android
• WebAssembly с потоками, воркеры и eval разрешены
• Сеть, камера, микрофон и датчики движения закрыты
• Пока бета, правила могут поменяться
developers.snap.com/web-lenses/home
#gamedev #news #gaussian
MAX
Snapchat открыл Web Lenses: веб-игру можно упаковать в архив и опубликовать как Lens, без установки и магазина. Snap рекомендует PlayCanvas как основной движок. То есть, можно работать с 2D, 3D, WebGPU и сплатами
• Экспорт из PlayCanvas в zip и загрузка через My Lenses
• Запуск сразу в приложении, по имени или Snapcode
• Таблицы лидеров, Bitmoji и сохранения через API
• Работают 2D, 3D, WebGPU и гауссовы сплаты
• Сборка агентом через MCP или генерация в Easy Lens по промпту
• Архив до 8 МБ, index.html до 1 МБ
• Портретный экран 9:16, iOS и Android
• WebAssembly с потоками, воркеры и eval разрешены
• Сеть, камера, микрофон и датчики движения закрыты
• Пока бета, правила могут поменяться
developers.snap.com/web-lenses/home
#gamedev #news #gaussian
MAX
🤷♂3👍2👨💻1
This media is not supported in your browser
VIEW IN TELEGRAM
OPENjutsu
Открытое приложение от ComfyOrg для замены человека в видео на персонажа с картинки
• Замена человека по одной картинке
• Сохранение движений, ракурса и родной дорожки
• Выбор начала и длины фрагмента прямо в интерфейсе
• Два качества: 480p и 768p
• Опциональный первый кадр, чтобы персонаж точнее вошел в сцену
• Сделано на воркфлоу от Akatz Labs и #MiniMaxH3
• Нужен аккаунт Comfy и ключ API к своему деплою
• Тестировали на карте с 96 ГБ, RTX PRO 6000, меньшие конфигурации не проверяли
Первый кадр при желании готовит GPT Image 2.5 через Comfy Router. Внутри 8 шагов, CFG 1, окна по 124 кадра, маску ищет SAM по самому крупному человеку
github.com/Comfy-Org/comfy-openjutsu
#characterswap
MAX
Открытое приложение от ComfyOrg для замены человека в видео на персонажа с картинки
• Замена человека по одной картинке
• Сохранение движений, ракурса и родной дорожки
• Выбор начала и длины фрагмента прямо в интерфейсе
• Два качества: 480p и 768p
• Опциональный первый кадр, чтобы персонаж точнее вошел в сцену
• Сделано на воркфлоу от Akatz Labs и #MiniMaxH3
• Нужен аккаунт Comfy и ключ API к своему деплою
• Тестировали на карте с 96 ГБ, RTX PRO 6000, меньшие конфигурации не проверяли
Первый кадр при желании готовит GPT Image 2.5 через Comfy Router. Внутри 8 шагов, CFG 1, окна по 124 кадра, маску ищет SAM по самому крупному человеку
github.com/Comfy-Org/comfy-openjutsu
#characterswap
MAX
❤9
Fern
Первая модель Mirendil обученная с нуля. Контекст до 10 миллионов токенов, это примерно 23 МБ кода или полмиллиона строк
• Работа по большим репозиториям целиком
• Кодинг-агент: запускает команды, читает вывод, гоняет до зеленых тестов
• Разбор длинных логов и стектрейсов, поиск места, где сломалось обучение
• Чтение трасс агента от начала до конца с объяснением, что произошло
• Проверка претрейн-данных на дубликаты и загрязнение бенчмарками
• Заточка под исследовательский код: циклы обучения, пайплайны данных, замеры
• 0,1-0,5 трлн параметров
• На RULER поиск одиночного фрагмента 100% даже на 10 млн токенов
• Многошаговые вопросы на такой длине проседают до 45%
• Доступа пока нет, в разработке две модели крупнее
Цена длинного контекста - качество ответа
Спасибо @Endorpheen
#longcontext #coding
MAX
Первая модель Mirendil обученная с нуля. Контекст до 10 миллионов токенов, это примерно 23 МБ кода или полмиллиона строк
• Работа по большим репозиториям целиком
• Кодинг-агент: запускает команды, читает вывод, гоняет до зеленых тестов
• Разбор длинных логов и стектрейсов, поиск места, где сломалось обучение
• Чтение трасс агента от начала до конца с объяснением, что произошло
• Проверка претрейн-данных на дубликаты и загрязнение бенчмарками
• Заточка под исследовательский код: циклы обучения, пайплайны данных, замеры
• 0,1-0,5 трлн параметров
• На RULER поиск одиночного фрагмента 100% даже на 10 млн токенов
• Многошаговые вопросы на такой длине проседают до 45%
• Доступа пока нет, в разработке две модели крупнее
Цена длинного контекста - качество ответа
Спасибо @Endorpheen
#longcontext #coding
MAX
🔥6🤯3
This media is not supported in your browser
VIEW IN TELEGRAM
StreamVibe
Ассистент от Google по видеопотоку с инициативой: сам решает, когда вмешаться, если просьба была расплывчатой. Обычные системы ждут команды с явным триггером, здесь достаточно цели.
Внутри две части: потоковая модель и обвязка, которая ведет состояние запросов, прогресс и прошлые ответы. Сначала обучение с балансом молчания и речи, затем RL на коротких отрезках вокруг точек помощи.
• Три уровня запроса: явный, неявный и меняющийся по ходу
• Подсказка в нужный момент без напоминания
• Отслеживание прогресса задачи, чтобы не повторяться и не давать устаревшие советы
• Правка просьбы на ходу: добавил, заменил или перебил
• Молчание по умолчанию, слово только в точке помощи
Код/веса ждем
#vlm #assistant #proactive
MAX
Ассистент от Google по видеопотоку с инициативой: сам решает, когда вмешаться, если просьба была расплывчатой. Обычные системы ждут команды с явным триггером, здесь достаточно цели.
Внутри две части: потоковая модель и обвязка, которая ведет состояние запросов, прогресс и прошлые ответы. Сначала обучение с балансом молчания и речи, затем RL на коротких отрезках вокруг точек помощи.
• Три уровня запроса: явный, неявный и меняющийся по ходу
• Подсказка в нужный момент без напоминания
• Отслеживание прогресса задачи, чтобы не повторяться и не давать устаревшие советы
• Правка просьбы на ходу: добавил, заменил или перебил
• Молчание по умолчанию, слово только в точке помощи
Код/веса ждем
#vlm #assistant #proactive
MAX
👍4❤1
Liquid RIPL
Движок инференса под линейку Liquid Foundation Models для задач с жестким лимитом по времени ответа. Полный ответ меньше чем за 50 мс при потоке до тысячи запросов в секунду
Ставка понятная: там, где раньше держали легкий бустинг из-за скорости, теперь можно поставить небольшую языковую модель и получить более гибкую логику. Вопрос в том, насколько качество на реальных данных перекрывает цену такого инференса, публичных замеров пока нет
Первым внедрил Shopify, в поиске
• Работа поверх модели в критическом пути запроса, а не в пакетной очереди
• Полный ответ, а не стрим по токенам с ожиданием
• Замена градиентных бустингов и векторных эмбеддингов в проде
• Онлайн-ранжирование, реклама, скоринг, антифрод
• Развертывание у клиента по запросу
• Задержка до 50 мс
• До 1000 запросов в секунду
• Только модели семейства LFM
#inference #realtime
MAX
Движок инференса под линейку Liquid Foundation Models для задач с жестким лимитом по времени ответа. Полный ответ меньше чем за 50 мс при потоке до тысячи запросов в секунду
Ставка понятная: там, где раньше держали легкий бустинг из-за скорости, теперь можно поставить небольшую языковую модель и получить более гибкую логику. Вопрос в том, насколько качество на реальных данных перекрывает цену такого инференса, публичных замеров пока нет
Первым внедрил Shopify, в поиске
• Работа поверх модели в критическом пути запроса, а не в пакетной очереди
• Полный ответ, а не стрим по токенам с ожиданием
• Замена градиентных бустингов и векторных эмбеддингов в проде
• Онлайн-ранжирование, реклама, скоринг, антифрод
• Развертывание у клиента по запросу
• Задержка до 50 мс
• До 1000 запросов в секунду
• Только модели семейства LFM
#inference #realtime
MAX
❤2
This media is not supported in your browser
VIEW IN TELEGRAM
F2G-Pose
Поза, размер и форма объекта по одному снимку RGB-D с готовой маской. За один проход выдает 6D-положение, реальный масштаб и достроенное облако точек в системе координат камеры
Внутри замороженный RADIO дает плотные признаки, глубина и маска привязывают их к точкам сцены. Локальную геометрию собирает DGCNN, контекст объекта добавляет трансформер со смесью экспертов, дальше три головы считают позу, размер и форму
• Оценка положения категории без отдельной модели под каждый предмет
• Метрический размер, то есть понятно, насколько объект большой на самом деле
• Достройка формы: невидимая с камеры часть тоже предсказывается
• Работа на прозрачных и блестящих предметах: стекло, зеркальная посуда
• Годится для роботов: захват и установка по предсказанной позе
• 28 кадров в секунду только по позе, 23,7 с полной моделью
github.com/jrryzh/F2G-Pose
huggingface.co/J3rr1/F2G-Pose
#rgbd2pose #tracking #pose
MAX
Поза, размер и форма объекта по одному снимку RGB-D с готовой маской. За один проход выдает 6D-положение, реальный масштаб и достроенное облако точек в системе координат камеры
Внутри замороженный RADIO дает плотные признаки, глубина и маска привязывают их к точкам сцены. Локальную геометрию собирает DGCNN, контекст объекта добавляет трансформер со смесью экспертов, дальше три головы считают позу, размер и форму
• Оценка положения категории без отдельной модели под каждый предмет
• Метрический размер, то есть понятно, насколько объект большой на самом деле
• Достройка формы: невидимая с камеры часть тоже предсказывается
• Работа на прозрачных и блестящих предметах: стекло, зеркальная посуда
• Годится для роботов: захват и установка по предсказанной позе
• 28 кадров в секунду только по позе, 23,7 с полной моделью
github.com/jrryzh/F2G-Pose
huggingface.co/J3rr1/F2G-Pose
#rgbd2pose #tracking #pose
MAX
👍9❤1
MatAnyone-E
Быстрое матирование видео, на уровне прошлой версии
Сначала дешевый проход в низком разрешении, он подсказывает, где маска не уверена и какие участки памяти важны. Полное сопоставление идет только по этим местам, остальное берется из низкого разрешения. Декодер заменили на легкий
• Полноценная альфа для человека в кадре, согласованная между кадрами
• Тонкие края и сложная прозрачность
• Работа в нативном разрешении, без даунскейла
• Пригодно для композитинга, VFX и замены фона
• 73 кадра в секунду в 1080p на одной H200 с torch.compile
• 28,6 кадра в секунду в 4K
• В 7,4 раза быстрее MatAnyone 2 на 4K
• Пиковой памяти ~ 3,1 ГБ
Код ждем
Спасибо @m_franz
#segmentation #matting #video2matte #video2mask #realtime
MAX
Быстрое матирование видео, на уровне прошлой версии
Сначала дешевый проход в низком разрешении, он подсказывает, где маска не уверена и какие участки памяти важны. Полное сопоставление идет только по этим местам, остальное берется из низкого разрешения. Декодер заменили на легкий
• Полноценная альфа для человека в кадре, согласованная между кадрами
• Тонкие края и сложная прозрачность
• Работа в нативном разрешении, без даунскейла
• Пригодно для композитинга, VFX и замены фона
• 73 кадра в секунду в 1080p на одной H200 с torch.compile
• 28,6 кадра в секунду в 4K
• В 7,4 раза быстрее MatAnyone 2 на 4K
• Пиковой памяти ~ 3,1 ГБ
Код ждем
Спасибо @m_franz
#segmentation #matting #video2matte #video2mask #realtime
MAX
🔥7👍1