Нейронавт | Нейросети в творчестве
13.2K subscribers
7.14K photos
5.66K videos
51 files
7.23K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках и запусках не участвую

для связи @Neuronauticus

РКН: https://hf.ru/link8e56d
Download Telegram
LingBot-World 2.0

Вот наконец наметился прогресс в генеративных игровых мирах

• час генерации без падения качества (видео на сайте)
• действия и события: атаки, заклинания, стрельба
• 720p/60fps, геймплейный формат

• генерация детализированных сцен с откликом <1 сек
• мультипользовательская сборка мира - игроки и режиссёры в одном пространстве
• агентное поведение плюс прямое вмешательство пользователя
• бесконечное исследование без визуальных артефактов
• учёт динамики и временных зависимостей - движение, события, развитие сцены
• база для симуляций и прогнозирования - робототехника, интерактивные данные

Гитхаб
HF
Демо - управление довольно тупое, физику забыли пригласить, но интерактивность уже есть

#interactive #world #t2w #text2world #i2w
👍7🤔5❤2
ARDY

Модель от NVIDIA генерирует движения человека в интерактивном режиме. Плавная, управляемая анимация без жёстких шаблонов


• непрерывная генерация движений в рилтайме на протяжении минут
• интерактивное управление через текстовые подсказки, клавиши
• гибкие констрейны (траектории, ключевые кадры, позиции суставов)
• гибридное представление данных (явные глобальные параметры + компактное скрытое представление движений тела)
• работа с долгосрочными целями и сложными комбинациями ограничений
• адаптация к изменяющимся условиям и целям на лету

Можно запромптить анимация и потом влиять на нее на лету

Гитхаб
HF
Демо

#humananimation #animation #realtime #interactive
🔥11❤2👍2😁1
Media is too big
VIEW IN TELEGRAM
MIRA

Rocket League на игровой миодели мира от kyutai и Epic Games. Стабильная генерация синхронного геймплея для нескольких игроков

Можете не верить, но эта штука реально играбельна!

• мультиплеер на 4 участника, человек или модель
• одновременная генерация нескольких точек зрения, минимум артефактов
• модель может играть сама с собой до суток без сбоев при контексте 4 секунды

Гитхаб
Демо

#game #interactive #world
🔥9😱6🤔1
SeedRealtime

Полнодуплексная аудиовизуальная интерактивная модель от ByteDance, рилтайм

Фокус на естественное двустороннее общение.

• понимает звук и картинку одновременно
• ловит цель взаимодействия и намерения пользователя
• смотрит, слушает, говорит без задержек

весов нет, ссылки на демо, API нет

#duplex #dialog #realtime #interactive #multimodal #asr #tts
👍5🤯3
Evoke

Авторегрессивная интерактивная модель от Alaya Lab для генерации бесконечных управляемых видео-миров
Состояние мира отделено от генерации и хранится постоянно - сцена помнит пространство и может жить часами

• Управление камерой - движение, повороты, исследование мира
• Часы непрерывной генерации без растущего контекста
• Смена промпта на лету - новые объекты и события прямо в запущенном мире
• Неинтерактивный режим - мир развивается сам
• Генерация в embodied-сценах

• 14B параметров
• 3 шага, без CFG

Учитель EVOKE построен на базе LingBot-World.
VAE, текстовый энкодер, токенизатор и планировщик от Helios

Гитхаб
HF

#interactive #world
👍9❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Marionette

Игровая модель мира от Alaya Lab. Учится предсказывать что будет дальше в сцене но не рисует все подряд нейросетью - геометрию считает формулой, а ИИ доверяет только внешний вид. Поэтому персонажи не рассыпаются на долгих роликах.

• Основа внешности - Wan2.2-Fun-5B-Control, VideoX-Fun
• Генерация игрового мира по одному референс-кадру и паре стартовых поз
• Управление действиями персонажа
• Прямое задание траектории - развороты, направление и скорость ходьбы

• Качество кадра на уровне пиксельных моделей, но с реальной управляемостью
• Пока косячит на долгих прогонах - персонажи уходят за край карты, внешность плывёт

Гитхаб
HF
Демо

#world #interactive

VK | MAX
👍8
MOSS-VL

Семейство открытых визуально-языковых моделей от OpenMOSS. Флагманская фишка - реалтайм-стриминг: модель смотрит на входящие кадры и отвечает параллельно, не дожидаясь конца видео

модель живёт в настоящем времени, а не смотрит запись постфактум. Вместо внешних планировщиков и опроса раз в секунду - три встроенных поведения: ответ в любой момент, проактивное молчание, своевременная коррекция.

• 11B параметров, контекст 256K
• Кванты FP8 и NF4

Гитхаб
HF
Демо

#vlm #realtime #fp8 #nf4 #dialog #interactive

VK | MAX
🔥5👍4
CMD (Context-Matched Distillation)

Метод дистилляции для авторегрессивной генерации видео от NVIDIA. #SOTA среди авторегрессивных методов

Учитель и ученик получают одинаковый контекст: кадр оценивается по тому же префиксу и контролю, что был у студента при генерации. Раньше учитель видел весь клип целиком включая будущие кадры которых студент не видел, и супервизия разъезжалась с реальными условиями генерации

В итоге меньше шагов на генерацию, можно интерактивно вмешиваться в процесс генерации, задавать движение камеры и получать длинные сцены без поплывшего хвоста

- База: Cosmos-Predict2.5 2B
- Шесть чекпоинтов: chunk-1 и chunk-4 (короткие/длинные + камера-контроль)

Гитхаб
HF
Демо

#optimization #cameracontrol #interactive #t2v #i2v
👍7❤1
Media is too big
VIEW IN TELEGRAM
MiniMax H3 Max

Турбоверсия от fal ускоренная почти в 50 раз
Дают 5 генераций в день по 5 сек

+ fal запустил H3 Max Live - бесконечную трансляцию, где видео генерируется быстрее реального времени. Зрители пишут в чат промпты и сцена меняется

и такие слоп-стримы начали появляться уже пачками
infiniteslop.ai

#minimaxH3 #streaming #interactive #realtime

VK | MAX
👍6😁6❤1
Infinite Livestream

Можете запускпать свой бесконечный ИИ-слоп стрим с блэкджеком и интерактивностью на Twitch и YouTube, а что у вас 8x B200 без дела пылятся

Fast H3 генерирует 768p видео со звуком, и это идёт в эфир без остановки, зрители могут писать промпты

#minimaxH3 #streaming #interactive #realtime

VK | MAX
😁15❤4🔥1
Orbis

непрерывная интерактивная генерация видео из текста или картинки. Сюжет меняется командами на ходу без остановки потока. Многоуровневая память держит персонажей, окружение и стиль в длинных сессиях. Продолжение видео, синхронный звук. 18fps в 832×480, апскейл до 4K

Демо
———

H3-World

#MiniMaxH3 научили реагировать на клавиши движения и камеры. Команды переводятся в текстовые инструкции к моментам видео, отдельный модуль действий не нужен, только #LoRA

Пока генерация по последовательности клавиш, не real-time.

Код
HF

Спасибо @Endorpheen

#interactive #world

VK | MAX
👍6❤4🔥1
Media is too big
VIEW IN TELEGRAM
GWM Worlds 2

Исследовательская модель мира от Runway
Генерирует интерактивный 3D-мир в реальном времени со звуком, сменой дня и ночи, погодой и текстовыми командами

- Мир в реальном времени: можно ходить от первого лица, управлять камерой, взаимодействовать с окружением
- Мир меняется по текстовым командам, при этом другой игрок продолжает исследовать
- 720p, 24 fps, со звуком

#interactive #world

VK | MAX
👍5
Gander (Tencent Hunyuan + openbmb)

Агент который смотрит, слушает, говорит и работает одновременно, в реальном времени, в одной открытой модели. Пока Gander отвечает, он видит экран, слышит тебя, различает "ага, продолжай" и "стоп, дай сказать"
Может параллельно запускать долгие задачи. Apache 2.0

На базе MiniCPM-o 4.5

- Full-duplex
- Видит то, что ты видишь: экран, видео, камера. Может комментировать, отвечать на вопросы, реагировать на события
- Помнит о чем его просили

Гитхаб
HF

#agent #dialog #interactive

VK | MAX
👍16❤1
Vidu S2

Рилтайм видео, с которым можно говорить, управлять и редактировать в потоке

S2-Avatar

720p аватар в реальном времени (25-42 FPS). Голосовое управление, диалог с прерываниями, взаимодействие с предметами по референсу. Вход: микрофон + картинка → на выходе живой аватар, который реагирует и отвечает

S2-Editing

редактирование видеопотока в реальном времени — стиль, виртуальная примерка, замена персонажа и фона. Подаёшь видео → меняешь референс по ходу → стрим перерисовывается без остановки

- Синхронная генерация: онлайн-аватары с голосовым взаимодействием
- Асинхронная: картинка + аудио → готовый ролик с липсинком и движением
- Spatial video: превращение и аватаров, и редактированного видео в VR-формат

API

#realtime #interactive #streaming #videoediting #avatar #vr

VK | MAX
👍5❤2⚡2😭2🫡1
Gemini 3.8 Live и 3.8 Live Extended Thinking (Google DeepMind)

Две рилтайм голосовые модели. Быстрая и умная. Обе видят экран, слышат голос, понимают паузы и перебивания.

3.8 Live — диалог, 97 языков с переключением на лету, зрение в реальном времени. Инструменты и API-вызовы выполняются в фоне пока разговор продолжается.

3.8 Live Extended Thinking — рассуждает и говорит одновременно. На сложных задачах произносит «дай-ка подумаю...» и постепенно озвучивает ход мыслей не замолкая.

#1 на Artificial Analysis Speech to Speech Quality Index (82.6)

SynthID водяной знак на все аудио.

Gemini API
AI Studio
Enterprise Platform

#dialog #voicemode #interactive #alm #vlm
👍13
Odyssey-3

Модели мира выруливают в прикладную нишу где есть потенциал для монетизации - #embodied AI, то бишь роботы

Odyssey-3 - фундаментальная мировая модель общего назначения. Одна обученная нейросеть управляет роботами, человекоподобными, дронами, автомобилями и видеоиграми. Претрейн дает понимание физики и причинно-следственных связей, а для новой задачи нужно всего несколько часов попутных данных

- Роборуки
- Человекоподобные роботы
- Автономное вождение
- Дроны
- Видеоигры: GTA V, перенос навыков в RDR 2 и Sleeping Dogs без дополнительного обучения
- Ну и собственно создавать интерактивные миры тоже умеет

- Публичный релиз ждем в ближайшие недели

Спасибо @Endorpheen

#world #interactive #agent

VK | MAX
🔥7👍3❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Agora-2 от Odyssey

Мультиагентная мировая модель. Генерирует общий интерактивный мир в реальном времени для до 20 участников - людей и ИИ-агентов одновременно. В пять раз больше, чем Agora-1, и уже не одна среда, а несколько
Odyssey-3 симулирует опыт одного участника, Agora-2 - общий мир с взаимодействием

• каждый участник видит симуляцию со своей точки зрения
• действия всех влияют на общее состояние мира
• сущность сохраняет свойства даже вне кадра - не пересобирается при возврате
• агенты обучаются RL - преследовать, обходить препятствия, подниматься

• тренировали на записях Diablo II от Blizzard - как игровой движок наоборот
• реальное время через потоковые пиксели
• рендер через flow matching со сбросом визуальной истории

Попробовать - на кнопку атаки реагирует очень вяло. посреди игры у меня перестала обновляться картинка. Карта работала, побегал немного следя за происходящим по точкам персонажей на карте. Умер

Как proof-of-concept - вполне уже убедительно. А так-то мы и в 90-x играли в диабло, и там гораздо интереснее все было, и игра летала на i386 не требуя B200 и 200 ГБ VRAM

Спасибо @Endorpheen

#world #interactive #gaming

MAX
👍7
This media is not supported in your browser
VIEW IN TELEGRAM
Odyssey-3 уже можно попробовать (через квн)
Писал о нем в сентябре

Но на многое хоть что-нибудь не рассчитывайте
Даже начеррипиканые миры работают через пень-колоду, а свой создать - вообще ничего не шевелится

#world #interactive #agent

MAX
🔥3❤1
This media is not supported in your browser
VIEW IN TELEGRAM
VIS-Ground

Фреймворк от Google: зритель ставит видео на паузу и рулит сюжетом, а продолжение опирается сразу на источник, уже показанное видео и запрос — вместе.

Что умеет
• Интерактивное продолжение видео по запросу зрителя
• Учитывает контекст трёх входов сразу, а не по отдельности
• Строит граф зависимостей и выводит из него ограничения под конкретное продолжение
• Планирует, проверяет, правит и рендерит, потом сверяет результат с теми же ограничениями

Код ждем до 15 декабря

#t2v #interactive

MAX
🔥12😱2👍1