Нейронавт | Нейросети в творчестве
13.4K subscribers
7.29K photos
5.76K videos
51 files
7.42K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках и запусках не участвую

для связи @Neuronauticus

РКН: https://hf.ru/link8e56d
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
Voxtral 3

Стек Mistral для голосовых агентов

Сводит слушание, размышление и ответ в один поток

• Транскрипция с разделением по говорящим и подсказками по терминам
• Определение конца реплики, ответ без задержки
• Синтез с эмоцией, темпом и акцентом под контекст
• Клонирование голоса по 30 минутам записи, готовые голоса на 18 языках
• Звонки через SIP, браузер по WebRTC, вызов функций и доступ к своим системам

• 50+ языков распознавания, 35+ языков и 50+ диалектов синтеза
• Реалтайм меньше 500 мс, ход диалога меньше секунды
• Транскрипция от 0.0035 доллара за минуту, синтез 13 за миллион знаков, агент от 0.04 в минуту
• API в ЕС или развертывание у себя

API

#tts #asr #russian

MAX
👍4
DeepInfer

Открытый движок DeepSeek для запуска своих моделей. На нем работает продакшн DeepSeek-V4.1-Flash, теперь код выложили наружу.

• Ускоренный декодинг через DSpark и проверку по уверенности
• Параллелизм: attention DP, MoE EP с балансировкой экспертов
• Асинхронный планировщик батчей без накладных расходов
• Структурированный вывод по regex, JSON-схеме и грамматике

• Одна модель из коробки, DeepSeek-V4.1-Flash
• NVIDIA SM100 и Huawei Ascend 950
• Linux, Python 3.12, CUDA 13 или CANN 9.2
• Пока только офлайн-инференс, сборка из исходников

В релизе нет KV-кэша, разделения prefill и decode, балансировки между репликами. Это придется докручивать самому. База выросла из vLLM. Лицензия Apache 2.0.

#harness

MAX
👍7❤1
MemT-1.0

Семейство открытых моделей MemTensor со встроенной памятью. Диалог уходит во внутреннее состояние, а не тащится в контексте.

• Память отдельным блоком рядом с вниманием, меняется по ходу общения
• Сохранение сессии в файл и подъем без текста переписки
• Mixture-of-Storage для роста памяти без роста цены
• Опыт агента подается через память, не строкой в промпте

• Nano: база Qwen3.6-35B-A3B, 36B / 3B активных
• Flash: база DeepSeek-V4-Flash, 288 B / 17B активных
• 1.86x ускорение на истории 128K, состояние в 66 раз меньше KV-кэша

По 11 бенчмаркам памяти Flash первый, Nano второй среди методов с параметрической памятью. Системы с текстовой памятью в целом впереди, особенно на точном поиске деталей в длинной истории.

github.com/MemTensor/MemT-1.0

#memory

MAX
👍3
Media is too big
VIEW IN TELEGRAM
StorySplat 2.5

Обновлена платформа для гауссовых сплат-сцен, теперь с настоящим светом и погодой. Почти все, что раньше было в бете, догнало до релиза.

• Тени от солнца, прожекторов и точек, солнце можно анимировать
• До 4 слоев облаков с движущимися тенями, плюс дождь, снег, туман и ветер
• Вода в луже, пруду, озере и море
• Редактор сплатов: поиск и удаление парящих точек, выделение кистью, лассо и объемом, клонирование, обрезка, разделение объекта
• AI-агент сам летает по сцене и строит туры, хотспоты, подсветку и звук
• Анимация и VR вышли из беты, любой тур рендерится в MP4 до 4K и в 360

• Форматы кадра 16:9, 9:16, 1:1
• Плагины WordPress, Webflow, LichtFeld
• Бесплатный старт на storysplat.com

Редактор открывает свои 100+ инструментов через WebMCP, так что туда можно подключить любого браузерного агента. Кредиты по центу, 1000 штук за 10 долларов. Есть регионы, каталог посетителей, наборы измерений, срез потолка, стерео 3D и сессии записи визитов.

#gaussian
❤4🔥1
SonicBoom

Движок инференса на C++ и CUDA, которому Python не нужен ни в работе, ни в сборке. Локальный запуск моделей на потребительских картах

Скорость дают слои над ядрами: планировщик переписывает граф модели и укладывает шаг генерации в один CUDA Graph, компилятор на MLIR делает часть ядер и подбирает их под карту

• Загрузка GGUF, генерация на процессоре или на карте, локальный сервер с API OpenAI
• Повторное использование префикса: считается только новая часть, результат совпадает с полным пересчетом до токена
• Без pip, колес и подгрузок в рантайме

• На RTX 3050 Gemma 4 E4B выдала 53,6 токена в секунду против 44,8 у llama.cpp
• Qwen2.5-0.5B: 345,9 против 306,9
• На глубине 512 токенов преимущество почти исчезает
• Сторонний замер на RTX 4060 Ti дал 73,6 против 78, сборка была не под эту карту

#inference

MAX
👍6❤1
FocusGUI

Легкий адаптер для омнимодальных GUI-агентов. Держит внимание на том, что решает текущий шаг, и не дает траектории уехать в сторону.

• Семь каналов: текст с историей, экран, звук, видео, состояние взаимодействия, скрытые признаки, пространственные признаки экрана
• Вес каналов пересчитывается на каждом шаге под текущее решение
• Все нужное сжимается в латент на 64 числа и подмешивается в эмбеддинги декодера
• Базовая модель заморожена, обучается только адаптер
• Обучение по следующему действию, разметка релевантности не нужна

fyzhang1.github.io/FocusGUI

#computeruse #agent

MAX
👍3🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
ComfyUI Tab Manager

Расширение наводит порядок в открытых воркфлоу #ComfyUI
Группировка по образцу Chrome

• Группы вкладок с цветами, без ограничений по количеству
• Вложенные группы внутри групп и перетаскивание воркфлоу между ними
• Свернуть и развернуть группу, чтобы не рябило в панели
• Помнит, какой воркфлоу в какой группе, после закрытия и повторного открытия
• Родные функции на месте: переименование, дублирование, сохранение, экспорт, закрытие средней кнопкой

Цвета групп и кнопку + Group можно настроить под себя

registry.comfy.org/publishers/redysdump/nodes/comfyui-tab-manager

#extension #manager

MAX
🔥10👍3❤1
Adaptive Step Samplers

Дополнение к #ComfyUI, открывает настройку, спрятанную в стандартном сэмплере для хорошего движения и текстуры

Внутри ComfyUI давно есть sa_solver
Он считает предсказание с коррекцией и тратит один проход сети на шаг. Но сила шума там зашита на 1.0, окно на 20-80%, и узла для этого нет.

Автор вытащил оба параметра наружу. Заодно добавил детерминированный вариант метода и зонд с диагностикой по шагам.

На практике: поднимать силу шума полезно примерно до 1.7. На 8-14 шагах картинка получает живую текстуру, а общая геометрия держится. Дальше рассыпаются мелкие детали вроде ресниц, и композиция уезжает, так что это уже другой кадр, не тот же с улучшенной поверхностью.

Что не сработало: умное перераспределение шагов проигрывает стоковому планировщику, управление шумом по оценке ошибки ничего не дает сверх ручного снижения, расширение окна шума только портит.

Впрочем, пишут что в комфи уже есть родная нода для этого

#sampler

MAX
👍5
- Чтобы расслабиться, мой папа любит...
- ... пилить агентные процессы

#humor

MAX
😁12❤5👨‍💻3
CorridorKey 2.0

Вторая версия кеера от коридоров

Как обычно мухлюют. Надо было кеить то что на прикрепленной картинке а не почт идеальный хромак

• Маттинг без подсказок, по первому кадру или по готовому хинт-видео
• Отдельно альфа и отдельно foreground, плюс варианты с шахматкой и вырезом
• Удаление цветного ореола с настройкой силы
• Вывод в видео или в #HDR #EXR

• RTX 30 и новее, 4 ГБ на 1440p, 6 ГБ на 4K
• Веса ~ 5 ГБ
• В основе три чужие модели: C-RADIOv4, MoGe-2 и RVM

Разрешение сохраняется нативное, внутренние паддинги срезаются обратно. Режим без хинта самый быстрый, но модель сама решает, что считать объектом. С первым кадром контроль выше, на длинных и загруженных сценах маска может уехать. Полное хинт-видео повторяет все ошибки подсказки

Платная версия

#keying #compositing

MAX
👍8🔥4❤2
Media is too big
VIEW IN TELEGRAM
Matrix-Game 4.0

Игровая видеомодель мира в реальном времени

Раньше такие миры теряли все что ушло из кадра и заново выводили правила из пикселей. Здесь состояние лежит в движке поэтому картинка не разваливается при поворотах и долгой игре

• Отклик 112 мс
• Движок ведет правила и состояние, видеомодель только дорисовывает кадр
• Кодинг-агент превращает просьбу игрока в новые правила и промпты
• Пространственная память по позе камеры и опорные кадры держат вид сцены
• Скользящее окно KV-кэша, старые чанки выпадают
• Непрерывные сессии без перезапуска, 54-99 секунд на запись

480p, 60 FPS на 5090
• Один чанк это 4 кадра, сжатие до 1-2 шагов

3.0 тут

github.com/SkyworkAI/Matrix-Game
huggingface.co/Skywork/Matrix-Game-4.0
Демо

#world #realtime #interactive

MAX
👀6👍2
This media is not supported in your browser
VIEW IN TELEGRAM
S-Agent 2.0

Набор восприятия в виде консольных команд для обычного кодинг-агента. Агент не просто смотрит на картинку, а измеряет сцену и опирается на числа

Смысл в том, что модель часто получает верный замер и все равно отвечает мимо: путает систему отсчета или перебивает измерение интуицией. Здесь агент обязан ссылаться на посчитанное. Слабое место - ошибки реконструкции и неверно поставленный наблюдатель, они тянутся в ответ

Внутри замороженные Depth Anything 3, p-mos, GeoCalib и SAM 3

• Сборка метрической сцены по фото и видео, выравнивание по гравитации
• Сегментация и превращение масок в именованные 3D-инстансы
• Память сцены между вызовами: позиция, размер, поза, имя
• Чтение в пространственном языке: спереди, слева, ниже, с единицами и системой отсчета
• Расстояния, глубина, высота, движение камеры и объектов, компас, вид сверху
• Проверка масок и карты перед ответом

github.com/Ropedia/S-Agent-2.0

#agent #vlm
🔥8❤1👍1
Sage-A1.5

Агентная модель Shanghai AI Lab на 35 млрд параметров с MoE. Ведет долгую работу сама: раздает подзадачи, проверяет себя и доводит научный поиск до результата.

• Оркестрация: несколько суб-агентов с изолированным контекстом работают параллельно и оспаривают допущения друг друга
• Самопроверка внутри собственной цепочки рассуждений, без внешнего критика: модель смотрит, что вышло и что провалилось, и меняет курс
• Инженерия от разбора кода до патчей и прогона тестов
• Научный поиск с литературой, анализом данных и проверкой доказательств
• Инструменты, браузер, длинное планирование, следование инструкциям

• 35B MoE на базе Qwen3.6-35B-A3B и Agents-A1
• Контекст 262 тысячи токенов
• Запуск через SGLang или vLLM с OpenAI-совместимым API
• GAIA 95,1 и XBench-DS 92,0
• SWE-bench Pro 61,2, MLE-Lite 65,2

huggingface.co/InternScience/Sage-A1.5

#agent

MAX
❤1
This media is not supported in your browser
VIEW IN TELEGRAM
LTX Desktop 1.3.0

Обновили

• Новая главная и боковая панель, быстрый поиск по инструментам
• Ассистент в чате сам ставит задачи в очередь: видео, рецепты, продление, ретейк
• Текст в видео, картинка в видео, аудио в видео
• Retake перегенерирует кусок клипа, Extend добавляет кадры до и после
• IC-LoRA: Ingredients, Day to Night, Deblur, симуляция воды и другие эффекты
• Очередь с перестановкой и отменой задач, Remote с телефона по локальной сети
• Генерации и ассеты переживают перезапуск

• Быстрые превью-разрешения
• Больше вариантов длительности, частоты кадров и пропорций
• Ручное и авто-усиление промпта, настройка сида
• NVIDIA от 24 ГБ видеопамяти, есть сборки под Apple Silicon, Windows и Linux

Ассистент работает через Gemini API или локальную Qwen.

#desktop #videoediting

MAX
👍8
#MossImage

#LoRA #optimization

hf.co/axiomofmind/Moss-image-nsfw-uncensored-lora - бесцензурная LoRA #uncensored

hf.co/akhaliq/MOSS-Image-SFT-4-steps#3-step-draft-tier - 3-шаговая турбо LoRA (самый быстрый чистый вариант)

civitai.red/models/3010926/moss-image-base-smartphone-snapshot-photo-reality-style - стиль «смартфон-снимок»

civitai.com/models/3009913/moss-edit-anime2real-anime-to-realistic - аниме→реализм #realism

civitai.com/models/3011866/moss-imagefinish-tweaker - слайдер упрощения/стилизации изображения. Без триггера

civitai.com/models/3012015/candid-amateur-iphone-cndamiph-or-moss-image-lora - «живой» любительский кадр вместо постановочного сточного фото

civitai.com/models/3013030/direct-flash-film-point-and-shoot-flash-snapshots-or-moss - уличная съемка с прямой вспышкой

civitai.com/models/3012685/male-smoke-or-moss - «курящие» — сочетается с нуар-промптом

civitai.com/models/3014333/ultimate-digital-artwork - UDA: аниме и диджитал-живопись без артефактов

hf.co/lodestones/MOSS-Image-Base-8-steps-dmd - 8-шаговая LoRA DMD под базовый MOSS

———

github.com/SurpassHR/ComfyUI-MOSS-Image-Ostris-Edit - запуск эдит-LoRA с MOSS (например аниме→реализм). Ноды Ostris Edit

hf.co/pleiades7/MOSS-Image-CharRef-PoC - PoC: референс-изображения персонажа

github.com/ThetaCursed/ComfyUI-MOSSImageTextEncoder - референс-картинки через vision-башню Qwen3.5 прямо в текстовом кондишне (не как VAE-латент). Работает с SFT-8-steps-dmd

github.com/ukr8b3g-cmyk/MossImage-BBOX-Prompter - визуальный BBox-промптер, на базе Krea2 BBox, Nodes 2.0 не нужен

github.com/RunningOverGlowies/MOSS-BBox-Editor - офлайн BBox-редактор на HTML-странице: фоновый слой, JSON копируется вручную

———

civitai.com/models/3010404/moss-image-workflow-image-to-image - «почти #i2i »: vision описывает картинку, MOSS генерит по описанию. Идентичность персонажа теряется

hf.co/ShootTheSound/Fizgig-MOSS-Image-SFT-Look-LoRA - SFT Look: 2Gb LoRA = разница SFT и Base. На Base дает вид SFT без загрузки SFT. На 0.5 — лучшие из обоих

hf.co/DiffSynth-Studio/MOSS-Image-EntroPack - предквант MOSS для DiffSynth-Studio

pastebin.com/v9bcZftJ - воркфлоу: MOSS принимает картинки через мультимодальный энкодер → MOSS как эдит-модель

ukr8b3g-cmyk.github.io/MOSS-Image-Character-Catalog - офлайн-каталог 33937 персонажей и 221 стиля (скачивается, 2Gb)
🔥12❤1👍1