This media is not supported in your browser
VIEW IN TELEGRAM
FastVideo FastH3 Omni
Как и обещали, выложили FastH3-Omni в опенсорс
Рилтаймовый #MinimaxH3
• Генерация видео и синхронизированного аудио из промпта и референсов
• Поддержка ComfyUI с нативным узлом MiniMax H3 Reference to Video
• Форматы BF16 и INT8 ConvRot под разные ускорители
• 8 шагов, guidance 1.0
• Видео shift 12.0, аудио shift 3.0
• Теги в промпте <picture> <video> <audio>
• ComfyUI, UniServe, FastVideo — свои форматы чекпоинтов и рантаймов
HF
github.com/hao-ai-lab/uniserve
github.com/hao-ai-lab/FastVideo
MAX
Как и обещали, выложили FastH3-Omni в опенсорс
Рилтаймовый #MinimaxH3
• Генерация видео и синхронизированного аудио из промпта и референсов
• Поддержка ComfyUI с нативным узлом MiniMax H3 Reference to Video
• Форматы BF16 и INT8 ConvRot под разные ускорители
• 8 шагов, guidance 1.0
• Видео shift 12.0, аудио shift 3.0
• Теги в промпте <picture> <video> <audio>
• ComfyUI, UniServe, FastVideo — свои форматы чекпоинтов и рантаймов
HF
github.com/hao-ai-lab/uniserve
github.com/hao-ai-lab/FastVideo
MAX
❤11👍2🤯1
This media is not supported in your browser
VIEW IN TELEGRAM
Fibo 2.0 Dev
Единая модель Bria для генерации и редактирования изображений. Дает текст в картинку, правки по маске и мультирефы в одном пайплайне.
• Генерация по тексту с высоким контролем
• Инструкционное редактирование с сохранением остального кадра
• Маски и до 4 референсов для локальных правок и переносов
• Inspire — новый кадр по тексту с опорой на референс, без копирования картинки
• 8B параметров, flow-matching в латенте FLUX.2 VAE
• Qwen3-VL-4B-Instruct для текста; 50 шагов и guidance 5.0 для базы
• Размеры кратно 16, около 1 МП по умолчанию
• HuggingFace: huggingface.co/briaai/Fibo-2.0-dev
• Edit Turbo: huggingface.co/briaai/Fibo-2.0-edit-turbo
• ComfyUI: github.com/Bria-AI/ComfyUI-BRIA-API
• VGL: github.com/Bria-AI/vgl
Спасибо @mikheys
#imageediting
MAX
Единая модель Bria для генерации и редактирования изображений. Дает текст в картинку, правки по маске и мультирефы в одном пайплайне.
• Генерация по тексту с высоким контролем
• Инструкционное редактирование с сохранением остального кадра
• Маски и до 4 референсов для локальных правок и переносов
• Inspire — новый кадр по тексту с опорой на референс, без копирования картинки
• 8B параметров, flow-matching в латенте FLUX.2 VAE
• Qwen3-VL-4B-Instruct для текста; 50 шагов и guidance 5.0 для базы
• Размеры кратно 16, около 1 МП по умолчанию
• HuggingFace: huggingface.co/briaai/Fibo-2.0-dev
• Edit Turbo: huggingface.co/briaai/Fibo-2.0-edit-turbo
• ComfyUI: github.com/Bria-AI/ComfyUI-BRIA-API
• VGL: github.com/Bria-AI/vgl
Спасибо @mikheys
#imageediting
MAX
👍11🔥4
Опубликован код TrackEverything - плотного 3D-трекера точек на длинных видео
github.com/ayushjain1144/trackeverything
#tracking
MAX
github.com/ayushjain1144/trackeverything
#tracking
MAX
Telegram
Нейронавт | Нейросети в творчестве
TrackEverything от CMU и Meta (запрещено в РФ)
Плотный 3D-трекер точек на длинных видео. Отслеживает все видимые точки всех кадров на горизонте 1000+ кадров, представляя видео как постоянные 3D-трассы в мировых координатах
• все точки, а не только с первого…
Плотный 3D-трекер точек на длинных видео. Отслеживает все видимые точки всех кадров на горизонте 1000+ кадров, представляя видео как постоянные 3D-трассы в мировых координатах
• все точки, а не только с первого…
🔥5👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Manga2Animate
Агентная схема превращения манга-страниц в анимацию. Страницы напрямую в видеомодель ломают раскладку панелей и сюжет, работа по тексту теряет персонажей и стиль.
• Нарезка страниц на панели и распознавание реплик по порядку чтения
• Сначала сценарий, потом раскадровка, затем видео
• Каждый шаг делает агент-создатель, проверяет ревьюер по исходным панелям
• Два круга правок, по 3 варианта сценария и раскадровки за круг
• Отбор лучших клипов и склейка в цельный ролик
• 6 панелей на кейс, 2 круга уточнения
• Видео на MiniMax-H3, Index-AniSora, Seedance 2.0, Wan 2.7
• Раскадровка на Gemini или локально на FLUX.2-dev
• Агенты работают через Vertex AI или обычный ключ API
Парное сравнение раскадровок по 13 критериям, часть жестко проход или не проход. Пользовательское исследование на 37 человек. Код открыт, данные оценки выложены.
Код: github.com/annchenn/Manga2Animate
#i2v #manga2anime
MAX
Агентная схема превращения манга-страниц в анимацию. Страницы напрямую в видеомодель ломают раскладку панелей и сюжет, работа по тексту теряет персонажей и стиль.
• Нарезка страниц на панели и распознавание реплик по порядку чтения
• Сначала сценарий, потом раскадровка, затем видео
• Каждый шаг делает агент-создатель, проверяет ревьюер по исходным панелям
• Два круга правок, по 3 варианта сценария и раскадровки за круг
• Отбор лучших клипов и склейка в цельный ролик
• 6 панелей на кейс, 2 круга уточнения
• Видео на MiniMax-H3, Index-AniSora, Seedance 2.0, Wan 2.7
• Раскадровка на Gemini или локально на FLUX.2-dev
• Агенты работают через Vertex AI или обычный ключ API
Парное сравнение раскадровок по 13 критериям, часть жестко проход или не проход. Пользовательское исследование на 37 человек. Код открыт, данные оценки выложены.
Код: github.com/annchenn/Manga2Animate
#i2v #manga2anime
MAX
👍8❤3🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Voxtral 3
Стек Mistral для голосовых агентов
Сводит слушание, размышление и ответ в один поток
• Транскрипция с разделением по говорящим и подсказками по терминам
• Определение конца реплики, ответ без задержки
• Синтез с эмоцией, темпом и акцентом под контекст
• Клонирование голоса по 30 минутам записи, готовые голоса на 18 языках
• Звонки через SIP, браузер по WebRTC, вызов функций и доступ к своим системам
• 50+ языков распознавания, 35+ языков и 50+ диалектов синтеза
• Реалтайм меньше 500 мс, ход диалога меньше секунды
• Транскрипция от 0.0035 доллара за минуту, синтез 13 за миллион знаков, агент от 0.04 в минуту
• API в ЕС или развертывание у себя
API
#tts #asr #russian
MAX
Стек Mistral для голосовых агентов
Сводит слушание, размышление и ответ в один поток
• Транскрипция с разделением по говорящим и подсказками по терминам
• Определение конца реплики, ответ без задержки
• Синтез с эмоцией, темпом и акцентом под контекст
• Клонирование голоса по 30 минутам записи, готовые голоса на 18 языках
• Звонки через SIP, браузер по WebRTC, вызов функций и доступ к своим системам
• 50+ языков распознавания, 35+ языков и 50+ диалектов синтеза
• Реалтайм меньше 500 мс, ход диалога меньше секунды
• Транскрипция от 0.0035 доллара за минуту, синтез 13 за миллион знаков, агент от 0.04 в минуту
• API в ЕС или развертывание у себя
API
#tts #asr #russian
MAX
👍4
DeepInfer
Открытый движок DeepSeek для запуска своих моделей. На нем работает продакшн DeepSeek-V4.1-Flash, теперь код выложили наружу.
• Ускоренный декодинг через DSpark и проверку по уверенности
• Параллелизм: attention DP, MoE EP с балансировкой экспертов
• Асинхронный планировщик батчей без накладных расходов
• Структурированный вывод по regex, JSON-схеме и грамматике
• Одна модель из коробки, DeepSeek-V4.1-Flash
• NVIDIA SM100 и Huawei Ascend 950
• Linux, Python 3.12, CUDA 13 или CANN 9.2
• Пока только офлайн-инференс, сборка из исходников
В релизе нет KV-кэша, разделения prefill и decode, балансировки между репликами. Это придется докручивать самому. База выросла из vLLM. Лицензия Apache 2.0.
#harness
MAX
Открытый движок DeepSeek для запуска своих моделей. На нем работает продакшн DeepSeek-V4.1-Flash, теперь код выложили наружу.
• Ускоренный декодинг через DSpark и проверку по уверенности
• Параллелизм: attention DP, MoE EP с балансировкой экспертов
• Асинхронный планировщик батчей без накладных расходов
• Структурированный вывод по regex, JSON-схеме и грамматике
• Одна модель из коробки, DeepSeek-V4.1-Flash
• NVIDIA SM100 и Huawei Ascend 950
• Linux, Python 3.12, CUDA 13 или CANN 9.2
• Пока только офлайн-инференс, сборка из исходников
В релизе нет KV-кэша, разделения prefill и decode, балансировки между репликами. Это придется докручивать самому. База выросла из vLLM. Лицензия Apache 2.0.
#harness
MAX
👍7❤1
MemT-1.0
Семейство открытых моделей MemTensor со встроенной памятью. Диалог уходит во внутреннее состояние, а не тащится в контексте.
• Память отдельным блоком рядом с вниманием, меняется по ходу общения
• Сохранение сессии в файл и подъем без текста переписки
• Mixture-of-Storage для роста памяти без роста цены
• Опыт агента подается через память, не строкой в промпте
• Nano: база Qwen3.6-35B-A3B, 36B / 3B активных
• Flash: база DeepSeek-V4-Flash, 288 B / 17B активных
• 1.86x ускорение на истории 128K, состояние в 66 раз меньше KV-кэша
По 11 бенчмаркам памяти Flash первый, Nano второй среди методов с параметрической памятью. Системы с текстовой памятью в целом впереди, особенно на точном поиске деталей в длинной истории.
github.com/MemTensor/MemT-1.0
#memory
MAX
Семейство открытых моделей MemTensor со встроенной памятью. Диалог уходит во внутреннее состояние, а не тащится в контексте.
• Память отдельным блоком рядом с вниманием, меняется по ходу общения
• Сохранение сессии в файл и подъем без текста переписки
• Mixture-of-Storage для роста памяти без роста цены
• Опыт агента подается через память, не строкой в промпте
• Nano: база Qwen3.6-35B-A3B, 36B / 3B активных
• Flash: база DeepSeek-V4-Flash, 288 B / 17B активных
• 1.86x ускорение на истории 128K, состояние в 66 раз меньше KV-кэша
По 11 бенчмаркам памяти Flash первый, Nano второй среди методов с параметрической памятью. Системы с текстовой памятью в целом впереди, особенно на точном поиске деталей в длинной истории.
github.com/MemTensor/MemT-1.0
#memory
MAX
👍3
Media is too big
VIEW IN TELEGRAM
StorySplat 2.5
Обновлена платформа для гауссовых сплат-сцен, теперь с настоящим светом и погодой. Почти все, что раньше было в бете, догнало до релиза.
• Тени от солнца, прожекторов и точек, солнце можно анимировать
• До 4 слоев облаков с движущимися тенями, плюс дождь, снег, туман и ветер
• Вода в луже, пруду, озере и море
• Редактор сплатов: поиск и удаление парящих точек, выделение кистью, лассо и объемом, клонирование, обрезка, разделение объекта
• AI-агент сам летает по сцене и строит туры, хотспоты, подсветку и звук
• Анимация и VR вышли из беты, любой тур рендерится в MP4 до 4K и в 360
• Форматы кадра 16:9, 9:16, 1:1
• Плагины WordPress, Webflow, LichtFeld
• Бесплатный старт на storysplat.com
Редактор открывает свои 100+ инструментов через WebMCP, так что туда можно подключить любого браузерного агента. Кредиты по центу, 1000 штук за 10 долларов. Есть регионы, каталог посетителей, наборы измерений, срез потолка, стерео 3D и сессии записи визитов.
#gaussian
Обновлена платформа для гауссовых сплат-сцен, теперь с настоящим светом и погодой. Почти все, что раньше было в бете, догнало до релиза.
• Тени от солнца, прожекторов и точек, солнце можно анимировать
• До 4 слоев облаков с движущимися тенями, плюс дождь, снег, туман и ветер
• Вода в луже, пруду, озере и море
• Редактор сплатов: поиск и удаление парящих точек, выделение кистью, лассо и объемом, клонирование, обрезка, разделение объекта
• AI-агент сам летает по сцене и строит туры, хотспоты, подсветку и звук
• Анимация и VR вышли из беты, любой тур рендерится в MP4 до 4K и в 360
• Форматы кадра 16:9, 9:16, 1:1
• Плагины WordPress, Webflow, LichtFeld
• Бесплатный старт на storysplat.com
Редактор открывает свои 100+ инструментов через WebMCP, так что туда можно подключить любого браузерного агента. Кредиты по центу, 1000 штук за 10 долларов. Есть регионы, каталог посетителей, наборы измерений, срез потолка, стерео 3D и сессии записи визитов.
#gaussian
❤4🔥1
SonicBoom
Движок инференса на C++ и CUDA, которому Python не нужен ни в работе, ни в сборке. Локальный запуск моделей на потребительских картах
Скорость дают слои над ядрами: планировщик переписывает граф модели и укладывает шаг генерации в один CUDA Graph, компилятор на MLIR делает часть ядер и подбирает их под карту
• Загрузка GGUF, генерация на процессоре или на карте, локальный сервер с API OpenAI
• Повторное использование префикса: считается только новая часть, результат совпадает с полным пересчетом до токена
• Без pip, колес и подгрузок в рантайме
• На RTX 3050 Gemma 4 E4B выдала 53,6 токена в секунду против 44,8 у llama.cpp
• Qwen2.5-0.5B: 345,9 против 306,9
• На глубине 512 токенов преимущество почти исчезает
• Сторонний замер на RTX 4060 Ti дал 73,6 против 78, сборка была не под эту карту
#inference
MAX
Движок инференса на C++ и CUDA, которому Python не нужен ни в работе, ни в сборке. Локальный запуск моделей на потребительских картах
Скорость дают слои над ядрами: планировщик переписывает граф модели и укладывает шаг генерации в один CUDA Graph, компилятор на MLIR делает часть ядер и подбирает их под карту
• Загрузка GGUF, генерация на процессоре или на карте, локальный сервер с API OpenAI
• Повторное использование префикса: считается только новая часть, результат совпадает с полным пересчетом до токена
• Без pip, колес и подгрузок в рантайме
• На RTX 3050 Gemma 4 E4B выдала 53,6 токена в секунду против 44,8 у llama.cpp
• Qwen2.5-0.5B: 345,9 против 306,9
• На глубине 512 токенов преимущество почти исчезает
• Сторонний замер на RTX 4060 Ti дал 73,6 против 78, сборка была не под эту карту
#inference
MAX
👍6❤1
FocusGUI
Легкий адаптер для омнимодальных GUI-агентов. Держит внимание на том, что решает текущий шаг, и не дает траектории уехать в сторону.
• Семь каналов: текст с историей, экран, звук, видео, состояние взаимодействия, скрытые признаки, пространственные признаки экрана
• Вес каналов пересчитывается на каждом шаге под текущее решение
• Все нужное сжимается в латент на 64 числа и подмешивается в эмбеддинги декодера
• Базовая модель заморожена, обучается только адаптер
• Обучение по следующему действию, разметка релевантности не нужна
fyzhang1.github.io/FocusGUI
#computeruse #agent
MAX
Легкий адаптер для омнимодальных GUI-агентов. Держит внимание на том, что решает текущий шаг, и не дает траектории уехать в сторону.
• Семь каналов: текст с историей, экран, звук, видео, состояние взаимодействия, скрытые признаки, пространственные признаки экрана
• Вес каналов пересчитывается на каждом шаге под текущее решение
• Все нужное сжимается в латент на 64 числа и подмешивается в эмбеддинги декодера
• Базовая модель заморожена, обучается только адаптер
• Обучение по следующему действию, разметка релевантности не нужна
fyzhang1.github.io/FocusGUI
#computeruse #agent
MAX
👍3🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
ComfyUI Tab Manager
Расширение наводит порядок в открытых воркфлоу #ComfyUI
Группировка по образцу Chrome
• Группы вкладок с цветами, без ограничений по количеству
• Вложенные группы внутри групп и перетаскивание воркфлоу между ними
• Свернуть и развернуть группу, чтобы не рябило в панели
• Помнит, какой воркфлоу в какой группе, после закрытия и повторного открытия
• Родные функции на месте: переименование, дублирование, сохранение, экспорт, закрытие средней кнопкой
Цвета групп и кнопку + Group можно настроить под себя
registry.comfy.org/publishers/redysdump/nodes/comfyui-tab-manager
#extension #manager
MAX
Расширение наводит порядок в открытых воркфлоу #ComfyUI
Группировка по образцу Chrome
• Группы вкладок с цветами, без ограничений по количеству
• Вложенные группы внутри групп и перетаскивание воркфлоу между ними
• Свернуть и развернуть группу, чтобы не рябило в панели
• Помнит, какой воркфлоу в какой группе, после закрытия и повторного открытия
• Родные функции на месте: переименование, дублирование, сохранение, экспорт, закрытие средней кнопкой
Цвета групп и кнопку + Group можно настроить под себя
registry.comfy.org/publishers/redysdump/nodes/comfyui-tab-manager
#extension #manager
MAX
🔥10👍3❤1
Adaptive Step Samplers
Дополнение к #ComfyUI, открывает настройку, спрятанную в стандартном сэмплере для хорошего движения и текстуры
Внутри ComfyUI давно есть sa_solver
Он считает предсказание с коррекцией и тратит один проход сети на шаг. Но сила шума там зашита на 1.0, окно на 20-80%, и узла для этого нет.
Автор вытащил оба параметра наружу. Заодно добавил детерминированный вариант метода и зонд с диагностикой по шагам.
На практике: поднимать силу шума полезно примерно до 1.7. На 8-14 шагах картинка получает живую текстуру, а общая геометрия держится. Дальше рассыпаются мелкие детали вроде ресниц, и композиция уезжает, так что это уже другой кадр, не тот же с улучшенной поверхностью.
Что не сработало: умное перераспределение шагов проигрывает стоковому планировщику, управление шумом по оценке ошибки ничего не дает сверх ручного снижения, расширение окна шума только портит.
Впрочем, пишут что в комфи уже есть родная нода для этого
#sampler
MAX
Дополнение к #ComfyUI, открывает настройку, спрятанную в стандартном сэмплере для хорошего движения и текстуры
Внутри ComfyUI давно есть sa_solver
Он считает предсказание с коррекцией и тратит один проход сети на шаг. Но сила шума там зашита на 1.0, окно на 20-80%, и узла для этого нет.
Автор вытащил оба параметра наружу. Заодно добавил детерминированный вариант метода и зонд с диагностикой по шагам.
На практике: поднимать силу шума полезно примерно до 1.7. На 8-14 шагах картинка получает живую текстуру, а общая геометрия держится. Дальше рассыпаются мелкие детали вроде ресниц, и композиция уезжает, так что это уже другой кадр, не тот же с улучшенной поверхностью.
Что не сработало: умное перераспределение шагов проигрывает стоковому планировщику, управление шумом по оценке ошибки ничего не дает сверх ручного снижения, расширение окна шума только портит.
Впрочем, пишут что в комфи уже есть родная нода для этого
#sampler
MAX
GitHub
GitHub - YakovSava/adaptive-step-samplers: Research on adaptive-step samplers: metrics, measurements, source code, and examples
Research on adaptive-step samplers: metrics, measurements, source code, and examples - YakovSava/adaptive-step-samplers
👍5
CorridorKey 2.0
Вторая версия кеера от коридоров
Как обычно мухлюют. Надо было кеить то что на прикрепленной картинке а не почт идеальный хромак
• Маттинг без подсказок, по первому кадру или по готовому хинт-видео
• Отдельно альфа и отдельно foreground, плюс варианты с шахматкой и вырезом
• Удаление цветного ореола с настройкой силы
• Вывод в видео или в #HDR #EXR
• RTX 30 и новее, 4 ГБ на 1440p, 6 ГБ на 4K
• Веса ~ 5 ГБ
• В основе три чужие модели: C-RADIOv4, MoGe-2 и RVM
Разрешение сохраняется нативное, внутренние паддинги срезаются обратно. Режим без хинта самый быстрый, но модель сама решает, что считать объектом. С первым кадром контроль выше, на длинных и загруженных сценах маска может уехать. Полное хинт-видео повторяет все ошибки подсказки
Платная версия
#keying #compositing
MAX
Вторая версия кеера от коридоров
Как обычно мухлюют. Надо было кеить то что на прикрепленной картинке а не почт идеальный хромак
• Маттинг без подсказок, по первому кадру или по готовому хинт-видео
• Отдельно альфа и отдельно foreground, плюс варианты с шахматкой и вырезом
• Удаление цветного ореола с настройкой силы
• Вывод в видео или в #HDR #EXR
• RTX 30 и новее, 4 ГБ на 1440p, 6 ГБ на 4K
• Веса ~ 5 ГБ
• В основе три чужие модели: C-RADIOv4, MoGe-2 и RVM
Разрешение сохраняется нативное, внутренние паддинги срезаются обратно. Режим без хинта самый быстрый, но модель сама решает, что считать объектом. С первым кадром контроль выше, на длинных и загруженных сценах маска может уехать. Полное хинт-видео повторяет все ошибки подсказки
Платная версия
#keying #compositing
MAX
👍8🔥4❤2
Media is too big
VIEW IN TELEGRAM
Matrix-Game 4.0
Игровая видеомодель мира в реальном времени
Раньше такие миры теряли все что ушло из кадра и заново выводили правила из пикселей. Здесь состояние лежит в движке поэтому картинка не разваливается при поворотах и долгой игре
• Отклик 112 мс
• Движок ведет правила и состояние, видеомодель только дорисовывает кадр
• Кодинг-агент превращает просьбу игрока в новые правила и промпты
• Пространственная память по позе камеры и опорные кадры держат вид сцены
• Скользящее окно KV-кэша, старые чанки выпадают
• Непрерывные сессии без перезапуска, 54-99 секунд на запись
480p, 60 FPS на 5090
• Один чанк это 4 кадра, сжатие до 1-2 шагов
3.0 тут
github.com/SkyworkAI/Matrix-Game
huggingface.co/Skywork/Matrix-Game-4.0
Демо
#world #realtime #interactive
MAX
Игровая видеомодель мира в реальном времени
Раньше такие миры теряли все что ушло из кадра и заново выводили правила из пикселей. Здесь состояние лежит в движке поэтому картинка не разваливается при поворотах и долгой игре
• Отклик 112 мс
• Движок ведет правила и состояние, видеомодель только дорисовывает кадр
• Кодинг-агент превращает просьбу игрока в новые правила и промпты
• Пространственная память по позе камеры и опорные кадры держат вид сцены
• Скользящее окно KV-кэша, старые чанки выпадают
• Непрерывные сессии без перезапуска, 54-99 секунд на запись
480p, 60 FPS на 5090
• Один чанк это 4 кадра, сжатие до 1-2 шагов
3.0 тут
github.com/SkyworkAI/Matrix-Game
huggingface.co/Skywork/Matrix-Game-4.0
Демо
#world #realtime #interactive
MAX
👀6👍2
This media is not supported in your browser
VIEW IN TELEGRAM
S-Agent 2.0
Набор восприятия в виде консольных команд для обычного кодинг-агента. Агент не просто смотрит на картинку, а измеряет сцену и опирается на числа
Смысл в том, что модель часто получает верный замер и все равно отвечает мимо: путает систему отсчета или перебивает измерение интуицией. Здесь агент обязан ссылаться на посчитанное. Слабое место - ошибки реконструкции и неверно поставленный наблюдатель, они тянутся в ответ
Внутри замороженные Depth Anything 3, p-mos, GeoCalib и SAM 3
• Сборка метрической сцены по фото и видео, выравнивание по гравитации
• Сегментация и превращение масок в именованные 3D-инстансы
• Память сцены между вызовами: позиция, размер, поза, имя
• Чтение в пространственном языке: спереди, слева, ниже, с единицами и системой отсчета
• Расстояния, глубина, высота, движение камеры и объектов, компас, вид сверху
• Проверка масок и карты перед ответом
github.com/Ropedia/S-Agent-2.0
#agent #vlm
Набор восприятия в виде консольных команд для обычного кодинг-агента. Агент не просто смотрит на картинку, а измеряет сцену и опирается на числа
Смысл в том, что модель часто получает верный замер и все равно отвечает мимо: путает систему отсчета или перебивает измерение интуицией. Здесь агент обязан ссылаться на посчитанное. Слабое место - ошибки реконструкции и неверно поставленный наблюдатель, они тянутся в ответ
Внутри замороженные Depth Anything 3, p-mos, GeoCalib и SAM 3
• Сборка метрической сцены по фото и видео, выравнивание по гравитации
• Сегментация и превращение масок в именованные 3D-инстансы
• Память сцены между вызовами: позиция, размер, поза, имя
• Чтение в пространственном языке: спереди, слева, ниже, с единицами и системой отсчета
• Расстояния, глубина, высота, движение камеры и объектов, компас, вид сверху
• Проверка масок и карты перед ответом
github.com/Ropedia/S-Agent-2.0
#agent #vlm
🔥8❤1👍1