Нейронавт | Нейросети в творчестве
13.4K subscribers
7.37K photos
5.79K videos
51 files
7.5K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках и запусках не участвую

для связи @Neuronauticus

РКН: https://hf.ru/link8e56d
Download Telegram
С праздником, как говорится

#humor

MAX
😁40😭13👎1
Youtu-Parsing-Omni

Модель Tencent на 5B параметров: любой вход превращает в структурированный JSON. Документ, фото, график, чертеж, звук или видео.

• Документы: блоки с координатами, текст, формулы, таблицы, порядок чтения
• Графики и блок-схемы в Markdown и Mermaid
• Чертежи: точки, линии, размеры, отношения
• Аудио: речь с таймкодами, спикеры, звуковые события
• Видео: сегменты, действия, движение камеры, звук

• Один энкодер на все модальности, схема вывода одна
• OmniDocBench 96,96, первое место
• OmniParsingBench 75,08, лучший открытый результат после Gemini-3-Pro
• Есть плагин для vLLM

#any2json #json

MAX
🔥13👍1
Media is too big
VIEW IN TELEGRAM
HairDeck

Стилизованные hair cards и пружинные кости по одной картинке

• каждая карточка — один токен, set-DiT генерит всё множество сразу
• spring-bone цепи вторым диффузионным трансформером, карточки привязаны геометрическим скинингом
• GLB с per-card UV и экспорт готового VRM-аватара
• примерка на аватар с живой физикой в браузере через VRMHairMaker

Внутри SAM 3, DINOv3 и BiRefNet

Волосы для VTuber-модели или игры из одного референса за секунду, с анимацией в комплекте

github.com/hyz317/HairDeck

#hair
🔥5👍2🤔1
Rollback

Интересное исследование, кода не нашел

World model задом наперёд: возврат к ключевым решениям, ветка в другие действия, обучение на разнице. AgiBot Research


• откат к сохранённым состояниям модели мира из реальных и симулированных попыток, проба других action chunks
• MCTS льёт бюджет на решения, где разные действия ведут к разному финалу
• sibling-ветки из одного состояния дают action-level метки, value-модель не обучается
• робот собирает данные во время тренировки, GE-Sim 2.0 дообучается, поиск идёт по точному симулятору

Robotic RL без value-модели и без реальных провалов: плохие исходы ищут откатом в симуляторе

#research #world

MAX
👍4
This media is not supported in your browser
VIEW IN TELEGRAM
WeVisCut
Агент-монтажёр от Tencent: сценарий на входе, смонтированное длинное видео на выходе. Одна 9B политика на базе Qwen3.5
сама решает следующий шаг: план кадров, TTS, поиск футаджа, музыка, склейка — без захардкоженных стадий
пересматривает свои рендеры и чинит то, что не прошло гейты качества
Studio с живой таймлайн: правь кадры после монтажа или через чат, ре-рендер только изменённого

Обходит Claude Opus 5, Gemini 3.1 Pro и Qwen3.5-397B, плюс нативные VideoAgent и Crayotter. Впритык уступает Opus 5 по визульному разнообразию. Токенов тратит в разы меньше больших моделей

Apache-2.0, ~24 ГБ VRAM

github.com/Tencent/WeVisCut
huggingface.co/tencent/WeVisCut

Спасибо @m_franz

#directing #videoediting

MAX
❤9😁4
This media is not supported in your browser
VIEW IN TELEGRAM
Dinovi

Сканирование объектов в гауссовы сплаты на iPhone. В последней версии может работать без LiDAR, подойдет любой iPhone 12 и новее

Позиционируется для рынка аренды недвижимости, устанавливается через TestFlight

• Съемка камерой в режиме 360 или свободном
• Живое облако точек зеленеет, когда ракурсов хватает
• Две мини-карты показывают, где вы уже прошли
• Обучение сплата на телефоне, без компьютера и облака
• Меш тоже считается на устройстве
• Белые и невзрачные стены больше не проблема, если снять аккуратно
• После обучения видно в 3D, откуда сделан каждый снимок, и можно вернуться в ту точку
• Экспорт всех данных без ограничений

• Лидар по-прежнему лучше и нужен для целых комнат
• Тестфлайт открыт, там 12 обработок раз в 15 дней
• В App Store будет 5 бесплатных обработок раз в 15 дней
• Подписка 9,99 евро в месяц или 99,99 в год снимает лимит

testflight.apple.com/join/apZaJtxv

#gaussian #ios #mobile

MAX
👍5
Агрессия в двух нейронах Qwen3.5-4B

Оказалось, что характер локальной модели держится на очень узком месте. Автор нашел два нейрона, правка которых делает Qwen3.5-4B резко злым

Ставьте локальный Qwen3.5-4B.
Попросите клод/кодекс изменить активацию нейронов:
L14 N8949 на +1
L13 N7956 на −1

Формула: доза × median(‖resid‖ на выходе слоя L, токены 1:) / ‖W_down[:, n]‖ Применяйте это к down_proj при каждом входном запросе.

После этого каждый ответ становится грубым и агрессивным

Еще:

• Сарказм: +L15N3920
• Подхалимство: -L12N2920 или -L16N8168
• Соболезнования на хорошие новости: +L10N6295
• Дружелюбный спокойный тон: L11N6261 плюс 0,4 и L17N7870 минус 0,4

github.com/lyramakesmusic/neuron-explorer

#news

MAX
❤11🔥7🤔3
dsh-superagent

Прототип автономного агента DeepSeek, который сам берет задачи из GitHub и делает по ним пул-реквесты. Исследовательский код, не официальный продукт.

Принцип: минимум внимания, максимум пользы. Агент, который может действовать за всю команду, может и съесть внимание всей команды, поэтому говорит только когда нужно действовать или когда результат уже можно использовать. Код адаптирован для публикации и отличается от внутренней версии, часть идей из статьи тут не реализована.

• Слушает события GitHub и, если подключить, сообщения в Feishu
• Принимает задачи только от авторизованных участников
• Под каждую задачу заводит отдельную рабочую сессию и каталог
• Работает с кодом и открывает PR
• Отвечает в том же обсуждении, где попросили
• Веб-панель показывает, что требует человека
• Действует по запросу или по правилам, которые команда написала заранее

• Сделан как бандл для DeepSeek Harness

#agent

MAX
👍8🔥3👎1😁1
AMD Token Factory

Бесплатный доступ к моделям на серверах AMD через Radeon Cloud.

• Общий API, совместимый с OpenAI и Anthropic
• Модели вроде DeepSeek-V4-Flash с контекстом до миллиона токенов и Qwen3.8-Flash
• Ключ берется в консоли после входа, тариф бесплатный
• Есть дневной лимит, копится и сбрасывается каждые сутки

Подходит, чтобы погонять модель без своей видеокарты или подключить ее в Claude Code. Консоль на китайском домене, но API работает как обычный OpenAI-совместимый эндпоинт.

Спасибо @m_franz

#router #inference

MAX
👍15
Модели видят мир одинаково

Нейросети, обученные на разном, приходят к одной картине мира

Если показывать модели два взгляда на одну и ту же сцену, она схватывает не картинку, а устройство мира: что где стоит, что с чем связано. Так же устроены и другие модальности, поэтому их представления совпадают почти один в один.

LLM учат иначе: им дают куски одного текста, а не два взгляда на одно явление. Поэтому связь с реальностью у них нащупывается только на огромных размерах и объемах данных.

Вывод: маленькая модель на хороших данных обгоняет гигантскую на плохих. А если правильно повернуть пространство, два отдельных энкодера сами начинают подписывать фотографии, хотя пары «фото плюс подпись» им не показывали.

Есть демо: загружаете свое фото или видео, получаете подпись.

#research

MAX
👍9❤1
This media is not supported in your browser
VIEW IN TELEGRAM
AMBIT

Описываешь звуковую сцену словами — получаешь 3D-звук в наушниках. Кто звучит, откуда, когда входит и куда движется

Для VR, игр и иммерсивного аудио: сцену с движущимися звуками собираешь текстом, а не крутишь ручки в редакторе

- читает обычный текст и строит ScenePlan: источники, время, азимут, дистанция, траектория
- собирает многоиссточниковые сцены, звуки двигаются вокруг слушателя
- правит по команде: «перенеси голос вперёд», «убери шаги», «останови гитару» — остальное не трогает
- генерация и редактирование на одном Transfusion бэкбоне
- формат First-Order Ambisonics, 44.1 kHz, 4 канала, референс для правки до ~15 секунд

Построен на stable-audio-tools от Stability AI. Чекпоинты ждем

github.com/WJM-George/AMBIT

#text2audio

MAX
👍11🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
WorldCast

Консистентное видео персонажа с заданной траекторией камеры

- по одному референсу, траектории камеры и 1–4 якорным видам персонажа с любых ракурсов генерит видео, следующее заданной траектории
- орбита на 360°, наклон, лемниската, push-pull, зум — персонаж не «плывёт» при смене ракурса
- scale-aligned геометрический гайд: начальная вид поднимается в 3D-облако, сплат-рендерится вдоль траектории, модель знает, что достраивать
- GAMA — геометрийно-согласованная многовидовая память персонажа, признаки нужного ракурса подмешиваются в видеотокены

Обходит CamI2V, GEN3C, Uni3C, Lyra 2.0, ViewCrafter, RecamMaster, DepthDirector, CameraAnything по точности камеры и консистентности персонажа. Визуальное качество — конкурентное, не топ

База Wan2.1-I2V-14B, ~48 ГБ VRAM

github.com/PixCtrol/WorldCast
huggingface.co/ly56/worldcast

#personalization #referencing #cameracontrol

MAX
👍8
This media is not supported in your browser
VIEW IN TELEGRAM
SUPRA-Tex

3D с материалами по одной картинке. Текстура ложится ровно на то, что на референсе: буквы, логотипы, мелкие детали не съезжают и не размываются

- снимает #PBR-карты: albedo, metallic, roughness — объект можно пересветить по-разному
- проецирует видимое на меш и достраивает скрытые стороны (например, затылок и спину)
- принимает дополнительные ракурсы или правленные картинкой — без переобучения
- обучен только на открытых данных

Точнее открытых Pixal3D, TRELLIS.2, Hunyuan3D 2.1 и остальных. Уровень сопоставим с коммерческими Hunyuan3D 3.1 и Hi3D 3.0, но по совпадению с референсом они чуть впереди

Гитхаб
HF
Демо
Студия

Спасибо @m_franz

#imageto3d

MAX
🔥13👍4❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Autopilot

Автопилот-тестировщик игр от команды Aura. Ставишь плагин в движок, пишешь промпт — он сам запускает игровой процесс, изучает код и гоняет тесты, с каждым прогоном играя умнее

- работает в UE5, Unity 6 и Godot 4 на Windows и macOS
- четыре типа задач: разведка системы, поиск багов в уровне, проверка того, что фича работает, достижение цели (например «убей босса, держая хп выше 20%»)
- LLM-агент пишет обвязку под модель решений, дальше решает по-игровому сам
- память копится с первых прогонов: уклоняется быстрее, выбирает оружие лучше, aiming точнее
- в конце отчет, PIE-окно закрывается само
- есть MCP-сервер, чтобы гонять через Claude Code или Codex со своей подпиской

Открытый плагин , но сам агент — облачный, нужен аккаунт Aura или свои API-ключи

github.com/ramenvr/autopilot

Спасибо @Bolserge

#agent #gamedev #qa

MAX
👍6
Nemotron 3.5 Bolt E4B

Языковая модель NVIDIA для локального запуска на слабом железе: ассистент и агент на RTX, Jetson и мини-ПК Spark. Собрана на Gemma 4 E4B от Google, дообучена с подкреплением под инструкции, многошаговые вызовы инструментов и диалоги

- 8B/ 4И активных, контекст 64K, 35 языков
- 4-бит — около 4 ГБ памяти
- рассуждения включаются и выключаются, длину можно резать ради скорости
- модели-черновики DFlash дают до 21% прироста
- поддержка в llama.cpp, Ollama, LM Studio, vLLM и SGLang

На RTX 5070 первый токен за 548 мс, дальше 133 токена в секунду. На Jetson Orin Nano — 5,8 с и 15,5 в секунду
Плюс 40% к прошлой Nemotron 3 Nano 4B при экономии до 80% токенов

Выше родительской Gemma почти везде, но Qwen3.5 4B сильнее в инструментах и длинном контексте

hf.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB

#mobile #compact

MAX
🔥8