Нейронавт | Нейросети в творчестве
13.4K subscribers
7.38K photos
5.8K videos
51 files
7.51K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках и запусках не участвую

для связи @Neuronauticus

РКН: https://hf.ru/link8e56d
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
Mundo

Интерактивный трехмерный мир из нескольких снимков места. На вход от одной до дюжины фотографий, на выход сцена, по которой можно вести камеру, ронять предметы и запускать роботов

Геометрия и физика считаются честно, а вид дорисовывается по исходным фото, поэтому обстановка не плывет

• Прогулка по заданному пути камеры, включая зоны, которых на снимках не было
• Старт возможен с одной картинки, стиль и структура переносятся в новые ракурсы
• Чем больше исходных видов, тем меньше домыслов по краям
• Длинные маршруты по большим сценам, нарезка на куски с перекрытием
• Физика: масса, трение, гравитация, столкновения
• Мир описывается кодом, считает MuJoCo, картинку собирает видеомодель
• Остановка времени и облет выбранного момента
• Навигация и захват предметов для роботов, с обзором от первого лица

github.com/Luo-Yihang/Mundo

Спасибо @m_franz

#interactive #3d #imageto3d #image2scene

MAX
👀9👍5❤4
This media is not supported in your browser
VIEW IN TELEGRAM
SOMA

Реконструкция работы мышц по обычной многокамерной съемке. На вход поза и вид кожи, на выход смещения внутренних мышц и слоя кожи поверх них.

• Анатомия в несколько слоев: кожа, мышцы, скелет
• Покадровая деформация мышц по позе
• Отдельные мышцы в высоком разрешении, а не одна общая оболочка
• Кожа скользит и сжимается поверх мышцы, а не едет за ней жестко
• Работает без тяжелого конечно-элементного моделирования

Датасет SKIM собран специально: по маркерам на коже внутренние мышцы не восстановить, поэтому есть и сканы тела, и привязка маркеров к отдельным мышцам. Сеть дополнительно держат физические ограничения: гладкость, сопротивление изгибу, сохранение объема.

github.com/edualvarado/SOMA

#hmr

MAX
🔥11👍2🤷‍♂1
#MossImage

#optimization

github.com/Rkkss/ComfyUI-Spectrum-MOSS - важные новые настройки для euler/er-sde. Пользователям er-sde обновляться до v0.8.1 (новая логика моста ER-SDE) — на 3060 12Gb прирост ~20%

github.com/Comfy-Org/ComfyUI/pull/17237 - минорный фикс для недавней поддержки цвета/глубины MOSS

huggingface.co/Harsha001/MOSS-Image-SFT-ROCmFPX - конверсия MOSS-Image-SFT для AMD (ROCm)

#imageediting

huggingface.co/akhaliq/MOSS-Image-Edit-HQ - вышла HQ v3, потом v5 (LoRA MOSS-Image-Edit)

github.com/Chenkin-x/ComfyUI-Moss-Image-Edit - MOSS-Image Edit под Base и SFT. Необычный объединенный лоадер модель+LoRA не запускается. github.com/Comfy-Org/ComfyUI/pull/17296 официально вмержен в ComfyUI

github.com/PedroMarinhoDev/ComfyUI-Moss-Image-Edit-Native - нативные эдит-ноды: поддержка HQ и chinoll LoRAs через edit_format. Протестированные дефолты (strength 1.0, CFG 5/3, skip layer 22, SFT). Кеш референсов. chinoll для ComfyUI: huggingface.co/PedroMarinhoDev/Moss-Image-Edit-ComfyUI

#LoRA

huggingface.co/Kandoo/MOSS-Image-Impressionism-LoRA - импрессионизм, обучен на 51 картине паблик-домена

civitai.com/models/3016783/surrealist-paintings-or-moss-image-lora - сюрреализм

civitai.com/models/3014665/hitoon-style-moss-image - HiToon: качественная 2/2.5D диджитал иллюстрация

#slider

civitai.com/models/3016826/brightness-slider-moss
civitai.com/models/3016502/white-balance-slider-moss
civitai.com/models/3016367/contrasthdr-slider-moss
базовые слайдеры яркости, баланса белого, приглушения #HDR

#prompting #controlnet

github.com/comfyanonymous/MOSS_image_MAX_ULTRA_hires_lora_test - LoHA-адаптер под 4Mpx+

civitai.com/models/3017655 - лора на генерацию #t2i с альфаканалом #rgba

mossimage.studio/blog/moss-image-prompt-guide - неофициальный гайд по MOSS-промптам

youtube.com/watch?v=e3gsjI-hxCY - туториал: три способа контроля MOSS — JSON-промпты с координатами, BBox, цвето-глубина ControlNet (Canny тоже работает)

#PE

ollama.com/dutchit/moss-image-prompt-enhancer - Ollama-модель из официального скилла: короткая идея → расширенный промпт (caption и layout-режимы с боксами). Офлайн через ollama-ноду, системный промпт не нужен

github.com/silly2342/ComfyUI-Alt-Prompt - A1111-стиль чередующиеся и переключаемые промпты для MOSS. Примеры и воркфлоу

Инструменты и редакторы

github.com/Lotus0614/moss-manga-editor - манга: генерация через агент/скилл + ручная правка контента. Годится и для западных комиксов

github.com/cOkieeman/ComfyUI-Soda-Storyboard - импорт storyboard-бандлов / MOSS .JSON, превью, страничные воркфлоу. Пригодится и для комикс-страниц

#training

github.com/waw1w1/moss_image_trainer - тренер LoRA и LyCORIS для MOSS-Image Base

github.com/storyAura/Comfyui-LoraQKV-Fix - чинит загрузку LoRA в ComfyUI: разница разделение/слияние q/k/v и ключи разных тренеров

github.com/ukr8b3g-cmyk/LoRA-Blend-One - блендер нескольких LoRA MOSS в один .safetensors в ComfyUI

github.com/supElement/ComfyUI-Element_TileEdit - тайловый рефайн/эдит/апскейл MOSS с консистентностью между тайлами

github.com/Kostik2702/ComfyUI-MossPhoton - ноды для SFT: сэмплер бит-в-бит как нативный граф, профиль LoRA без протечек между задачами, промпт-нода не переписывает текст

github.com/paoloinverse/MOSS-Image-Toriigate-dataset-autocaptioner - авто-капшены для датасета LoRA через локальный llama.cpp/LLM

github.com/ukr8b3g-cmyk/ComfyUI-MOSS-Shift-Scheduler - три сигма-шедулера для MOSS: Shift, Curve, Sigma

github.com/smile-forge/moss-image-onnx - MOSS-Image для ONNX

Обучение и советы

reddit.com/r/StableDiffusion/comments/1xeunzs - советы по тренировке character LoRA + конфиг Automagic

old.reddit.com/r/malcolmrey/comments/1xdyjea - тренировка лика лица character LoKR: подробные настройки

github.com/kaixin20190930/mossimage-prompts - коллекция проверенных промптов + советы новичкам

❗️MOSS-Image промптит до 4096 токенов, но хвост промпта влияет на картинку
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12❤1
Hy-SimulMT

Синхронный перевод живой речи между китайским и английским в обе стороны. Аудио приходит потоком, перевод текстом и голосом выдается по ходу разговора, без ожидания конца фразы.

• Перевод во время речи, а не после
• Клонирование голоса на лету, тембр говорящего сохраняется
• Вывод и текстом, и синтезированной речью
• Для встреч, докладов и интервью, есть приложение Hy Translate

• 30 млрд параметров, 3 млрд активных на токен
• Задержка около 3 секунд по метрике StreamLAAL на длинном аудио RealSI
• RealSI-Sentence 84,7, выше всех в сравнении
• FLEURS 90,3 и ACL6060 81,2, у Gemini в первом случае 92,4
• Качество по GEMBA выше четырех коммерческих API из пяти

Отдельно авторы посадили шесть профессиональных синхронистов на 18 свежих записей по шесть минут из десяти разных сфер. Качество вышло на уровне людей, а отвечает система часто быстрее. Для синтеза и клонирования нужен свой TTS-сервис, в репозитории лежат инференс и обучение.

huggingface.co/tencent/Hy-SimulMT-30B-A3B
github.com/Tencent-Hunyuan/Hy-SimulMT

#translation

MAX
👍8
Recursive Flint

Открытая модель под кодинг-агенты от Recursive Superintelligence. Задача прикладная: разобрать незнакомый репозиторий, починить баг, добавить функцию, дописать тесты.

• Разбор чужих кодовых баз и точечные правки
• Многошаговые вызовы инструментов и режим рассуждений
• Работает в llama.cpp, Ollama, LM Studio, vLLM и SGLang
• Свои ядра под Apple Silicon и NVIDIA, для ноутбуков отдельный движок rec

• 39,8B, около 2,5 B активных
• Контекст 262 К
• 49 слоев, 256 экспертов в каждом, выбираются шесть плюс один общий
• Больше 125 токенов в секунду на M4 Pro, больше 150 на RTX Spark

Команда называет Flint лучшей MoE-моделью до 50 млрд параметров и говорит, что та догоняет плотные модели на 25-40 млрд, работая впятеро быстрее. Собрали меньше чем за четыре месяца

huggingface.co/RecursiveSI/flint
github.com/recursive-oss/rec

#coding #agent

MAX
🔥6👍4🤔2
TAKE STUDIO

Демоспейс - веб-студия для озвучки сцен на Drama 3

Идея в том, что режиссура актера не должна требовать разбора интерфейса.

• Поток в четыре шага: написал, срежиссировал, послушал, поправил
• Сценарий и реплики в одном окне, без россыпи ползунков
• Работа на Drama 3 с управлением эмоцией и подачей
• Ничего не ставить локально, все считается в браузере

#tts #directing

MAX
👍6❤1
This media is not supported in your browser
VIEW IN TELEGRAM
GPT-6.1 Terra

Быстрая и дешевая модель OpenAI с упором на визуальное понимание, работу в интерфейсах и письмо. Заменяет GPT-5.6 Terra, но заметно экономичнее.

• Разбор чертежей, таблиц и скриншотов с переходом к действию
• Работа в десктопных приложениях: формы, документы, монтаж видео
• Текст стал чище и естественнее
• Справляется с задачами, где раньше требовался фронтир

• API вдвое дешевле, чем у GPT-5.6 Terra и GPT-6.1 Sol
• 1 доллар за миллион входных токенов, 5 за выходные, кэш по 0,05
• На Agents' Last Exam плюс 15 процентных пунктов к прошлой версии при трети затрат
• С GPT-6 Astra идет наравне, но при цене в десять раз ниже
• Больше чем втрое быстрее Astra и Sol
• Ошибки на провокационных промптах: с 53,6 до 16,7% при низком усилии
• Terminal-Bench 4.0: 50,3% против 21,5 у прошлой версии

Для сложного кода по-прежнему советуют Sol и Astra. Доступна в ChatGPT Work, Codex и через API.

#news
👍8
Media is too big
VIEW IN TELEGRAM
MotionBricks

Генератор движений в реальном времени от NVIDIA: одна нейросеть на 350 тысяч навыков, 15 тысяч fps и задержка около 2 мс. До этого было только для Unitree G1

• Ходьба, бег, повороты по командам скорости и направления
• Стили: хромающий, зомби, подпрыгивающий, боком, боевой
• Переходы между стилями и походками прямо в рантайме
• Взаимодействие с предметами: поднять меч, сесть, перепрыгнуть скамью
• Новые задачи без дообучения и без тегов под задачу

• Движение считается для двух тел: человеческого SOMA и робота Unitree G1
• Готовые модели идут в ONNX, чекпоинты на Hugging Face
• Прокси-кадры задают взаимодействие, подход и контакт сеть додумывает сама
• Рантайм на Warp, Newton и TensorRT, есть экспортер в ONNX
• Демо на Unreal Engine 5 длиной 2:40 без склеек, фиксации стоп и ручных переходов

github.com/NVlabs/motionbricks

#animation #3d
🔥24
This media is not supported in your browser
VIEW IN TELEGRAM
Игры в Snapchat на PlayCanvas

Snapchat открыл Web Lenses: веб-игру можно упаковать в архив и опубликовать как Lens, без установки и магазина. Snap рекомендует PlayCanvas как основной движок. То есть, можно работать с 2D, 3D, WebGPU и сплатами

• Экспорт из PlayCanvas в zip и загрузка через My Lenses
• Запуск сразу в приложении, по имени или Snapcode
• Таблицы лидеров, Bitmoji и сохранения через API
• Работают 2D, 3D, WebGPU и гауссовы сплаты
• Сборка агентом через MCP или генерация в Easy Lens по промпту

• Архив до 8 МБ, index.html до 1 МБ
• Портретный экран 9:16, iOS и Android
• WebAssembly с потоками, воркеры и eval разрешены
• Сеть, камера, микрофон и датчики движения закрыты
• Пока бета, правила могут поменяться

developers.snap.com/web-lenses/home

#gamedev #news #gaussian

MAX
🤷‍♂3👍2👨‍💻1
This media is not supported in your browser
VIEW IN TELEGRAM
OPENjutsu

Открытое приложение от ComfyOrg для замены человека в видео на персонажа с картинки

• Замена человека по одной картинке
• Сохранение движений, ракурса и родной дорожки
• Выбор начала и длины фрагмента прямо в интерфейсе
• Два качества: 480p и 768p
• Опциональный первый кадр, чтобы персонаж точнее вошел в сцену

• Сделано на воркфлоу от Akatz Labs и #MiniMaxH3
• Нужен аккаунт Comfy и ключ API к своему деплою
• Тестировали на карте с 96 ГБ, RTX PRO 6000, меньшие конфигурации не проверяли

Первый кадр при желании готовит GPT Image 2.5 через Comfy Router. Внутри 8 шагов, CFG 1, окна по 124 кадра, маску ищет SAM по самому крупному человеку

github.com/Comfy-Org/comfy-openjutsu

#characterswap

MAX
❤9
Fern

Первая модель Mirendil обученная с нуля. Контекст до 10 миллионов токенов, это примерно 23 МБ кода или полмиллиона строк

• Работа по большим репозиториям целиком
• Кодинг-агент: запускает команды, читает вывод, гоняет до зеленых тестов
• Разбор длинных логов и стектрейсов, поиск места, где сломалось обучение
• Чтение трасс агента от начала до конца с объяснением, что произошло
• Проверка претрейн-данных на дубликаты и загрязнение бенчмарками
• Заточка под исследовательский код: циклы обучения, пайплайны данных, замеры

• 0,1-0,5 трлн параметров
• На RULER поиск одиночного фрагмента 100% даже на 10 млн токенов
• Многошаговые вопросы на такой длине проседают до 45%
• Доступа пока нет, в разработке две модели крупнее

Цена длинного контекста - качество ответа

Спасибо @Endorpheen

#longcontext #coding

MAX
🔥6🤯3
This media is not supported in your browser
VIEW IN TELEGRAM
StreamVibe

Ассистент от Google по видеопотоку с инициативой: сам решает, когда вмешаться, если просьба была расплывчатой. Обычные системы ждут команды с явным триггером, здесь достаточно цели.

Внутри две части: потоковая модель и обвязка, которая ведет состояние запросов, прогресс и прошлые ответы. Сначала обучение с балансом молчания и речи, затем RL на коротких отрезках вокруг точек помощи.

• Три уровня запроса: явный, неявный и меняющийся по ходу
• Подсказка в нужный момент без напоминания
• Отслеживание прогресса задачи, чтобы не повторяться и не давать устаревшие советы
• Правка просьбы на ходу: добавил, заменил или перебил
• Молчание по умолчанию, слово только в точке помощи

Код/веса ждем

#vlm #assistant #proactive

MAX
👍4❤1
Liquid RIPL

Движок инференса под линейку Liquid Foundation Models для задач с жестким лимитом по времени ответа. Полный ответ меньше чем за 50 мс при потоке до тысячи запросов в секунду

Ставка понятная: там, где раньше держали легкий бустинг из-за скорости, теперь можно поставить небольшую языковую модель и получить более гибкую логику. Вопрос в том, насколько качество на реальных данных перекрывает цену такого инференса, публичных замеров пока нет

Первым внедрил Shopify, в поиске

• Работа поверх модели в критическом пути запроса, а не в пакетной очереди
• Полный ответ, а не стрим по токенам с ожиданием
• Замена градиентных бустингов и векторных эмбеддингов в проде
• Онлайн-ранжирование, реклама, скоринг, антифрод
• Развертывание у клиента по запросу

• Задержка до 50 мс
• До 1000 запросов в секунду
• Только модели семейства LFM

#inference #realtime

MAX
❤2
This media is not supported in your browser
VIEW IN TELEGRAM
F2G-Pose

Поза, размер и форма объекта по одному снимку RGB-D с готовой маской. За один проход выдает 6D-положение, реальный масштаб и достроенное облако точек в системе координат камеры

Внутри замороженный RADIO дает плотные признаки, глубина и маска привязывают их к точкам сцены. Локальную геометрию собирает DGCNN, контекст объекта добавляет трансформер со смесью экспертов, дальше три головы считают позу, размер и форму

• Оценка положения категории без отдельной модели под каждый предмет
• Метрический размер, то есть понятно, насколько объект большой на самом деле
• Достройка формы: невидимая с камеры часть тоже предсказывается
• Работа на прозрачных и блестящих предметах: стекло, зеркальная посуда
• Годится для роботов: захват и установка по предсказанной позе

• 28 кадров в секунду только по позе, 23,7 с полной моделью

github.com/jrryzh/F2G-Pose
huggingface.co/J3rr1/F2G-Pose

#rgbd2pose #tracking #pose

MAX
👍9❤1
MatAnyone-E

Быстрое матирование видео, на уровне прошлой версии

Сначала дешевый проход в низком разрешении, он подсказывает, где маска не уверена и какие участки памяти важны. Полное сопоставление идет только по этим местам, остальное берется из низкого разрешения. Декодер заменили на легкий

• Полноценная альфа для человека в кадре, согласованная между кадрами
• Тонкие края и сложная прозрачность
• Работа в нативном разрешении, без даунскейла
• Пригодно для композитинга, VFX и замены фона

• 73 кадра в секунду в 1080p на одной H200 с torch.compile
• 28,6 кадра в секунду в 4K
• В 7,4 раза быстрее MatAnyone 2 на 4K
• Пиковой памяти ~ 3,1 ГБ

Код ждем

Спасибо @m_franz

#segmentation #matting #video2matte #video2mask #realtime

MAX
🔥7👍1