Нейронавт | Нейросети в творчестве

2:57

Media is too big

Это прекрасно! не знаю кто автор

#humor

❤9🔥9👎1🫡1

2.01K views08:11

MOSS-Audio-4B-Instruct

Открытая модель понимания аудио. Понимает речь, музыку, звуки окружения, отвечает на вопросы об аудио и умеет рассуждать по шагам (chain-of-thought). Четыре варианта: 4B и 8B, Instruct и Thinking

• транскрипция речи с таймштами слов и предложений
• анализ говорящего: пол, возраст, акцент, эмоции
• описание сцены по фоновым звукам
• музыка: стиль, инструменты, эмоциональное развитие
• время-ориентированные вопросы - что произошло когда

• свой аудиоэнкодер 12.5 Гц + Qwen3 в качестве языковой базы
• DeepStack - фиче-инъекция от ранних слоев энкодера в LM
• тайм-маркеры вшиты в претрейн - модель учит хронологию

Гитхаб
HF

#alm

MAX

👍7

1.71K viewsedited 09:12

0:55

Media is too big

Veda от ByteDance, HKU и USTC

Разреженное внимание для видео-диффузии, которое не ломает качество. Полный attention учит предиктор выбирать только нужные 128-токенные тайлы - на 90-95% тратится меньше вычислений при почти незаметной разнице

• 90% разреженность на уровне полного attention по человеческим оценкам
• топ-k пропуск тайлов - внимание масштабируется почти линейно, а не O(N²)
• головы и слои получают свои формы тайлов - локальные и дальние зависимости
• дистилляция от полного attention через KL - до бинаризации маски

• 720P 241 кадр: 19.4 мин до 3.8 мин, ускорение 5.1x
• per-layer attention 10.5x быстрее FlashAttention-3
• 90% sparsity на WaverBench1.0 не проигрывает dense (50% против 49%)

Связка под #MiniMaxH3 #T2VA: Ускорение до 2.76x end-to-end на RTX 4090

Гитхаб
HF

Спасибо @m_franz

#optimization

❤6👍3🔥1

1.72K views10:13

0:15

brag

Клод-скилл, который превращает свежий проект в готовый промо-ролик одной командой. Анализирует репозиторий, сам выбирает продуктовый ракурс и тон, а рендер через Hyperframes от Heygen

• музыка, моушн и текст для запуска в комплекте
• /brag --tone - управление настроением ролика
• /brag --voice - закадровая озвучка через Kokoro
• результат: план, бриф, шеари-копирайты и brag.mp4 в brag-output/
• новая /brag-slim только для Opus 5.5 - без Hyperframes

Установка через плагин для Claude Code, или npx skills add для Codex, opencode, Cursor, Copilot. Нужен Node 22+ и FFmpeg. На старте - 10.2k звезд

#skill #code2video

MAX

👍13

2.1K views11:14

MERT-v2-FullSong

Музыкальный энкодер на 632M параметров, который понимает целую песню от 30 до 360 секунд. Продолжение MERT-v2-30s, bidirectional, дообучен на полных композициях

• репрезентации на уровне кадров и всей записи
• 24 кГц моно, 1024 измерения, 25 Гц
• жанр, бит, тональность, эмоции, инструменты, аккорды
• интерфейс как у классического MERT - работает через Transformers

Место в экосистеме #YuE2: causal-ветка MERT2 токенизирует аудио для генератора песен, а FullSong закрывает эмбеддинги целых треков

На бенчмарке MARBLE (15 задач понимания музыки) лучше всех байзлайнов в 13 из 15 метрик

#encoder #music

MAX

👍8

1.5K views12:15

Ming Image Prompt Builder

Визуальный редактор структурированных промптов для Ming-Image-0.1-Design в #ComfyUI. Рисуешь прямоугольники на холсте, описываешь объекты и точный текст - на выходе готовый Ming JSON

• прямоугольники для семантических групп - объекты, точный текст, цвета #RRGGBB
• превью раскладки прямо в ноде
• импорт и экспорт JSON с валидацией
• region-редактор: resize, копирование, переключатель слоев фронт/бэк
• работает с официальным текстовым энкодером Ming и с comfyui_ming_native

Схема промпта: canvas_settings + layers с координатами, иерархией и цветами. Геометрия - подсказка для модели, не детерминированный контроль. Без инференса и загрузки моделей - только сборка JSON

*Пишут что Ming очень хорош в изображении текста

#prompting #mingimage #design

MAX

👍10❤1

1.75K viewsedited 13:16

Nanosaur 2

Компактная модель генерации изображений без цензуры с фокусом на аниме

Неофициальный релиз модели на 670M параметров, обученной на датасете из 14 миллионов изображений по тегам (аниме-стиль, обширный набор персонажей и стилей). Принимает и естественный язык, и теги

Похоже, в отличие от нескольких недавних бесполезных компактных поделок, способных только на 256х256, способен и на полное 1024х1024. Прямо выходное разрешение не указано

• родной VAE и текстовый энкодер на 270M в комплекте
• понимает натуральный язык и теги - что удобнее
• большое покрытие персонажей, арт-стилей и концептов
• часто выигрывает у SDXL, несмотря на меньший размер

• модель 1.3 ГБ, с энкодером и VAE - 2 ГБ
• int8 и w4a8 квантизации уменьшают DiT до 388 МБ
• запускается на слабом железе

Проект ищет финансирование на версию побольше

Есть #int8 и #w4a8 (not recommended

#compact #t2i

MAX

👍10👨‍💻2

1.5K views14:17

1:20

TostAI Sprite Sheet Studio

Делает из видео - игровой спрайт-шит за один проход, полностью локально без внешних API. В одном сервере два инструмента

• генератор - маттинг VRMBG-3.0, автокроп, упаковка в сетку + JSON, превью и GIF
• редактор - правит готовый лист: пивотируй, чини матт, выбивай фон, перепалитровывай
• 44 операции в 9 группах - от pixel-art снэпа до вставки промежуточных кадров
• выравнивание пивота по кадру - убирает джиттер от маттинга

• Docker-образ с моделью в комплекте, нужен NVIDIA GPU от 24 ГБ VRAM
• работает и без докера через Python, веб-морда на 8765 порту
• модель VRMBG-3.0 гейтед - свой HF-токен для скачивания

Есть готовый превью-плеер с лупами и оnion skin. Docker тянет ~7.4 ГБ

github.com/camenduru/TostAI-Sprite-Sheet-Studio
github.com/camenduru/TostUI-tost-sprite-video-docker

#video2sprite #gamedev

MAX

👍9❤4

1.91K views15:18

#humor

MAX

😁18👍6💯4👎1

2.01K views16:19

2026 такой

#humor

MAX

😁29❤1

2.38K views17:20

#humor

MAX

😁26⚡2❤1

1.76K views18:21

0:40

supersplat-snap

Выравнивание нескольких сцен yf гауссианах в SuperSplat по контрольным точкам

• ставишь парные точки на двух и более сплэтах, метод Umeyama считает поворот, сдвиг и масштаб
• вторичные сплэты подгоняются под первый (Splat A)
• точки редактируются после расстановки - значения X/Y/Z дотягиваются
• после выравнивания точки едут вместе со сплэтом - можно итерировать
• полный undo, работает с .splat и .ply, поддерживает 3+ сплэтов

Установка - клонировать SuperSplat v2.27.3 и перекопировать четыре файла, форк не нужен. Советы по точкам: не ставить все на одной плоскости, 4-6 точек по разным высотам для точного совпадения

#gaussian

MAX

👍9😁2

1.67K views07:10

0:04

0:04

TrackEverything от CMU и Meta (запрещено в РФ)

Плотный 3D-трекер точек на длинных видео. Отслеживает все видимые точки всех кадров на горизонте 1000+ кадров, представляя видео как постоянные 3D-трассы в мировых координатах

• все точки, а не только с первого кадра - трек начинается, как только точка появилась
• 3D и 2D трассы одновременно, с учётом движения камеры
• классификация статика/динамика покадрово по окнам
• разбиение на дубликаты в 3D-представлении убирает двойные соответствия

Метод через дедупликацию 3D-сцен-репрезентаций - в отличие от предшественников с ретроспективой на первый кадр. Слабые места честно называются: быстрые смещения и текстуры с повторами ломают соответствие

Гитхаб ждем

#tracking

MAX

🔥5👍2

1.41K views08:11

1:29

0:08

0:03

0:02