DeepInfer
Открытый движок DeepSeek для запуска своих моделей. На нем работает продакшн DeepSeek-V4.1-Flash, теперь код выложили наружу.
• Ускоренный декодинг через DSpark и проверку по уверенности
• Параллелизм: attention DP, MoE EP с балансировкой экспертов
• Асинхронный планировщик батчей без накладных расходов
• Структурированный вывод по regex, JSON-схеме и грамматике
• Одна модель из коробки, DeepSeek-V4.1-Flash
• NVIDIA SM100 и Huawei Ascend 950
• Linux, Python 3.12, CUDA 13 или CANN 9.2
• Пока только офлайн-инференс, сборка из исходников
В релизе нет KV-кэша, разделения prefill и decode, балансировки между репликами. Это придется докручивать самому. База выросла из vLLM. Лицензия Apache 2.0.
#harness
MAX
Открытый движок DeepSeek для запуска своих моделей. На нем работает продакшн DeepSeek-V4.1-Flash, теперь код выложили наружу.
• Ускоренный декодинг через DSpark и проверку по уверенности
• Параллелизм: attention DP, MoE EP с балансировкой экспертов
• Асинхронный планировщик батчей без накладных расходов
• Структурированный вывод по regex, JSON-схеме и грамматике
• Одна модель из коробки, DeepSeek-V4.1-Flash
• NVIDIA SM100 и Huawei Ascend 950
• Linux, Python 3.12, CUDA 13 или CANN 9.2
• Пока только офлайн-инференс, сборка из исходников
В релизе нет KV-кэша, разделения prefill и decode, балансировки между репликами. Это придется докручивать самому. База выросла из vLLM. Лицензия Apache 2.0.
#harness
MAX
👍6❤1
MemT-1.0
Семейство открытых моделей MemTensor со встроенной памятью. Диалог уходит во внутреннее состояние, а не тащится в контексте.
• Память отдельным блоком рядом с вниманием, меняется по ходу общения
• Сохранение сессии в файл и подъем без текста переписки
• Mixture-of-Storage для роста памяти без роста цены
• Опыт агента подается через память, не строкой в промпте
• Nano: база Qwen3.6-35B-A3B, 36B / 3B активных
• Flash: база DeepSeek-V4-Flash, 288 B / 17B активных
• 1.86x ускорение на истории 128K, состояние в 66 раз меньше KV-кэша
По 11 бенчмаркам памяти Flash первый, Nano второй среди методов с параметрической памятью. Системы с текстовой памятью в целом впереди, особенно на точном поиске деталей в длинной истории.
github.com/MemTensor/MemT-1.0
#memory
MAX
Семейство открытых моделей MemTensor со встроенной памятью. Диалог уходит во внутреннее состояние, а не тащится в контексте.
• Память отдельным блоком рядом с вниманием, меняется по ходу общения
• Сохранение сессии в файл и подъем без текста переписки
• Mixture-of-Storage для роста памяти без роста цены
• Опыт агента подается через память, не строкой в промпте
• Nano: база Qwen3.6-35B-A3B, 36B / 3B активных
• Flash: база DeepSeek-V4-Flash, 288 B / 17B активных
• 1.86x ускорение на истории 128K, состояние в 66 раз меньше KV-кэша
По 11 бенчмаркам памяти Flash первый, Nano второй среди методов с параметрической памятью. Системы с текстовой памятью в целом впереди, особенно на точном поиске деталей в длинной истории.
github.com/MemTensor/MemT-1.0
#memory
MAX
👍3
Media is too big
VIEW IN TELEGRAM
StorySplat 2.5
Обновлена платформа для гауссовых сплат-сцен, теперь с настоящим светом и погодой. Почти все, что раньше было в бете, догнало до релиза.
• Тени от солнца, прожекторов и точек, солнце можно анимировать
• До 4 слоев облаков с движущимися тенями, плюс дождь, снег, туман и ветер
• Вода в луже, пруду, озере и море
• Редактор сплатов: поиск и удаление парящих точек, выделение кистью, лассо и объемом, клонирование, обрезка, разделение объекта
• AI-агент сам летает по сцене и строит туры, хотспоты, подсветку и звук
• Анимация и VR вышли из беты, любой тур рендерится в MP4 до 4K и в 360
• Форматы кадра 16:9, 9:16, 1:1
• Плагины WordPress, Webflow, LichtFeld
• Бесплатный старт на storysplat.com
Редактор открывает свои 100+ инструментов через WebMCP, так что туда можно подключить любого браузерного агента. Кредиты по центу, 1000 штук за 10 долларов. Есть регионы, каталог посетителей, наборы измерений, срез потолка, стерео 3D и сессии записи визитов.
#gaussian
Обновлена платформа для гауссовых сплат-сцен, теперь с настоящим светом и погодой. Почти все, что раньше было в бете, догнало до релиза.
• Тени от солнца, прожекторов и точек, солнце можно анимировать
• До 4 слоев облаков с движущимися тенями, плюс дождь, снег, туман и ветер
• Вода в луже, пруду, озере и море
• Редактор сплатов: поиск и удаление парящих точек, выделение кистью, лассо и объемом, клонирование, обрезка, разделение объекта
• AI-агент сам летает по сцене и строит туры, хотспоты, подсветку и звук
• Анимация и VR вышли из беты, любой тур рендерится в MP4 до 4K и в 360
• Форматы кадра 16:9, 9:16, 1:1
• Плагины WordPress, Webflow, LichtFeld
• Бесплатный старт на storysplat.com
Редактор открывает свои 100+ инструментов через WebMCP, так что туда можно подключить любого браузерного агента. Кредиты по центу, 1000 штук за 10 долларов. Есть регионы, каталог посетителей, наборы измерений, срез потолка, стерео 3D и сессии записи визитов.
#gaussian
❤3🔥1
SonicBoom
Движок инференса на C++ и CUDA, которому Python не нужен ни в работе, ни в сборке. Локальный запуск моделей на потребительских картах
Скорость дают слои над ядрами: планировщик переписывает граф модели и укладывает шаг генерации в один CUDA Graph, компилятор на MLIR делает часть ядер и подбирает их под карту
• Загрузка GGUF, генерация на процессоре или на карте, локальный сервер с API OpenAI
• Повторное использование префикса: считается только новая часть, результат совпадает с полным пересчетом до токена
• Без pip, колес и подгрузок в рантайме
• На RTX 3050 Gemma 4 E4B выдала 53,6 токена в секунду против 44,8 у llama.cpp
• Qwen2.5-0.5B: 345,9 против 306,9
• На глубине 512 токенов преимущество почти исчезает
• Сторонний замер на RTX 4060 Ti дал 73,6 против 78, сборка была не под эту карту
#inference
MAX
Движок инференса на C++ и CUDA, которому Python не нужен ни в работе, ни в сборке. Локальный запуск моделей на потребительских картах
Скорость дают слои над ядрами: планировщик переписывает граф модели и укладывает шаг генерации в один CUDA Graph, компилятор на MLIR делает часть ядер и подбирает их под карту
• Загрузка GGUF, генерация на процессоре или на карте, локальный сервер с API OpenAI
• Повторное использование префикса: считается только новая часть, результат совпадает с полным пересчетом до токена
• Без pip, колес и подгрузок в рантайме
• На RTX 3050 Gemma 4 E4B выдала 53,6 токена в секунду против 44,8 у llama.cpp
• Qwen2.5-0.5B: 345,9 против 306,9
• На глубине 512 токенов преимущество почти исчезает
• Сторонний замер на RTX 4060 Ti дал 73,6 против 78, сборка была не под эту карту
#inference
MAX
👍4
FocusGUI
Легкий адаптер для омнимодальных GUI-агентов. Держит внимание на том, что решает текущий шаг, и не дает траектории уехать в сторону.
• Семь каналов: текст с историей, экран, звук, видео, состояние взаимодействия, скрытые признаки, пространственные признаки экрана
• Вес каналов пересчитывается на каждом шаге под текущее решение
• Все нужное сжимается в латент на 64 числа и подмешивается в эмбеддинги декодера
• Базовая модель заморожена, обучается только адаптер
• Обучение по следующему действию, разметка релевантности не нужна
fyzhang1.github.io/FocusGUI
#computeruse #agent
MAX
Легкий адаптер для омнимодальных GUI-агентов. Держит внимание на том, что решает текущий шаг, и не дает траектории уехать в сторону.
• Семь каналов: текст с историей, экран, звук, видео, состояние взаимодействия, скрытые признаки, пространственные признаки экрана
• Вес каналов пересчитывается на каждом шаге под текущее решение
• Все нужное сжимается в латент на 64 числа и подмешивается в эмбеддинги декодера
• Базовая модель заморожена, обучается только адаптер
• Обучение по следующему действию, разметка релевантности не нужна
fyzhang1.github.io/FocusGUI
#computeruse #agent
MAX
👍2🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
ComfyUI Tab Manager
Расширение наводит порядок в открытых воркфлоу #ComfyUI
Группировка по образцу Chrome
• Группы вкладок с цветами, без ограничений по количеству
• Вложенные группы внутри групп и перетаскивание воркфлоу между ними
• Свернуть и развернуть группу, чтобы не рябило в панели
• Помнит, какой воркфлоу в какой группе, после закрытия и повторного открытия
• Родные функции на месте: переименование, дублирование, сохранение, экспорт, закрытие средней кнопкой
Цвета групп и кнопку + Group можно настроить под себя
registry.comfy.org/publishers/redysdump/nodes/comfyui-tab-manager
#extension #manager
MAX
Расширение наводит порядок в открытых воркфлоу #ComfyUI
Группировка по образцу Chrome
• Группы вкладок с цветами, без ограничений по количеству
• Вложенные группы внутри групп и перетаскивание воркфлоу между ними
• Свернуть и развернуть группу, чтобы не рябило в панели
• Помнит, какой воркфлоу в какой группе, после закрытия и повторного открытия
• Родные функции на месте: переименование, дублирование, сохранение, экспорт, закрытие средней кнопкой
Цвета групп и кнопку + Group можно настроить под себя
registry.comfy.org/publishers/redysdump/nodes/comfyui-tab-manager
#extension #manager
MAX
🔥5👍2❤1
Adaptive Step Samplers
Дополнение к #ComfyUI, открывает настройку, спрятанную в стандартном сэмплере для хорошего движения и текстуры
Внутри ComfyUI давно есть sa_solver
Он считает предсказание с коррекцией и тратит один проход сети на шаг. Но сила шума там зашита на 1.0, окно на 20-80%, и узла для этого нет.
Автор вытащил оба параметра наружу. Заодно добавил детерминированный вариант метода и зонд с диагностикой по шагам.
На практике: поднимать силу шума полезно примерно до 1.7. На 8-14 шагах картинка получает живую текстуру, а общая геометрия держится. Дальше рассыпаются мелкие детали вроде ресниц, и композиция уезжает, так что это уже другой кадр, не тот же с улучшенной поверхностью.
Что не сработало: умное перераспределение шагов проигрывает стоковому планировщику, управление шумом по оценке ошибки ничего не дает сверх ручного снижения, расширение окна шума только портит.
Впрочем, пишут что в комфи уже есть родная нода для этого
#sampler
MAX
Дополнение к #ComfyUI, открывает настройку, спрятанную в стандартном сэмплере для хорошего движения и текстуры
Внутри ComfyUI давно есть sa_solver
Он считает предсказание с коррекцией и тратит один проход сети на шаг. Но сила шума там зашита на 1.0, окно на 20-80%, и узла для этого нет.
Автор вытащил оба параметра наружу. Заодно добавил детерминированный вариант метода и зонд с диагностикой по шагам.
На практике: поднимать силу шума полезно примерно до 1.7. На 8-14 шагах картинка получает живую текстуру, а общая геометрия держится. Дальше рассыпаются мелкие детали вроде ресниц, и композиция уезжает, так что это уже другой кадр, не тот же с улучшенной поверхностью.
Что не сработало: умное перераспределение шагов проигрывает стоковому планировщику, управление шумом по оценке ошибки ничего не дает сверх ручного снижения, расширение окна шума только портит.
Впрочем, пишут что в комфи уже есть родная нода для этого
#sampler
MAX
GitHub
GitHub - YakovSava/adaptive-step-samplers: Research on adaptive-step samplers: metrics, measurements, source code, and examples
Research on adaptive-step samplers: metrics, measurements, source code, and examples - YakovSava/adaptive-step-samplers
👍4