Нейронавт | Нейросети в творчестве
13.2K subscribers
7.17K photos
5.66K videos
51 files
7.25K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках и запусках не участвую

для связи @Neuronauticus

РКН: https://hf.ru/link8e56d
Download Telegram
Forwarded from Ряды Фурье
У математиков случилось то, что скоро случится почти в любой профессии. Матокалипсис!

За драмой можно наблюдать прям сейчас, там очень весело и интересно. Началось с того, что в августе OpenAI собрала 40 математиков на встречу с интригующим названием «Конец математики». Если коротко — в одном из вариантов человеческая помощь моделям нафиг уже не нужна, спасибо, мясные, отойдите, пожалуйста.

Ещё математики там попросили публиковать всё статьями, но OpenAI всё выбросила постами, типа, сношайтесь там сами. Пока они сношались, то заметили, что идеи машинных доказательств бывают подозрительно похожи на их неопубликованные наработки, которые они обсуждали с OpenAI.

8 сентября OpenAI сказала, что её закрытая модель решила проблему Навье-Стокса. Это, если что, штука, которую люди решить не могли. За пару часов до этого ещё один товарищ со спецом из Антропика шли тем же путём и были близко, но OpenAI узнала про это и рванула наперегонки. Ещё ему предложили сделку (с его слов): писать статью вместе с OpenAI, но без коллеги Альпёге, потому что тот работает у конкурента. OpenAI сказали, что это всё ужасная ошибка, и они взяли 10 тысяч агентов на 88 часов.

Дальше офигенная цепочка событий:
— 25 топовых математиков подписали декларацию: цели ИИ-компаний и математики резко расходятся, результаты объявляются в спешке, без нормального изложения и ссылок на предшественников, что пахнет плагиатом.
— OpenAI сняла спонсорство с одного из мероприятий, где было дофига участников декларации.
— OpenAI завела консультативную группу математиков. Группа сразу попросила не гонять сложные задачи на закрытых моделях.
— 6 октября выложила 722 рукописи закрытой модели и сказала, что сношайтесь всё же, потому что тут многие результаты не понимают даже встроенные в компанию математики. Вроде, за день до этого учёные в панике публиковали свои неоконченные работы, чтобы их не обогнали.
— Объяснили такой скотский подход (с точки зрения математиков) тем, что OpenAI и Anthropic готовятся к IPO.
— Крупная ассоциация математиков предложила объявить бойкот OpenAI. В них в ответ покидали деньгами.

Дальше жопа сгорела у всего сообщества, потому что несмотря на скотский подход, доказательства-то реальные, и наука двигается. Можно истерить, но наука двигается. Но там море проблем:
— У многих опустились руки — нет смысла думать над такими задачами, потому что робот всё решит.
— Есть такой Йорг Нойнхойзерер, который всю жизнь решал три задачи и не решил, а ChatGPT походя их закрыл. Ну сорян, чо.
— Профессор Лосано-Робледо опубликовал письмо студента, который мечтал об академической карьере, а теперь не понимает, останется ли в математике место для кого-то, кроме гениев. Таких писем вроде бы много много. Процесс тоже поменялся: аспирантам теперь спускают машинные доказательства на переписывание.

В итоге ответов стало слишком много, и срочно нужны люди, которые встроят их в понятное знание. Но это ровно та работа, ради которой в математику никто не шёл. Шли вообще-то искать сами, а тут предлагают помогать роботу.

Тут работа про то, как проверять доказательства, потому что моделям верить на слово нельзя. Предлагают точно так же, как в разработке — писать скрипт и исполнять. Конкретно выгружать доказательство на языке Lean, который исполняется компилятором. Собственно, основная проблема теперь — оно стало всё проверяемо, но НИХРЕНА НЕПОНЯТНО, как работает.

За последнюю неделю выяснилось, что Lean-формализация Навье-Стокса не совпадает с доказательством в самой статье, так что третья черепаха врёт. Ну и предложили математику 2.0 — решать не надо, надо объяснять.

Добро пожаловать в матокалипсис!

--
Вступайте в ряды Фурье! | Лучшие посты
350 лет без рекламаций! Без документации! Без инструкций! Без поддержки! Теорема Ферма!
1🫡5❤3👍3😭2👎1🔥1
MOSS-Image AMA: разработчик ответил на вопросы на реддит

5B модель, делали полгода, упор на текст в картинке, управление композицией и базу под дообучение.

Что выяснилось
• Сборка для ComfyUI перевалила за 354 тысячи скачек
• Модель чувствительна к сиду и выдает очень разные картинки, на коротких промптах управлять трудно. На длинных один сид держит стабильно, а правка промпта при том же сиде работает как редактирование
• В официальной сборке ComfyUI полный VAE FLUX.2, в их чекпойнте маленький декодер: убирает пятна и артефакты
• Мыло лечится негативом "blurry"
• AI-картинки из датасета вычищали, часть просочилась, отсюда вкус чатжпт в аниме

Планы
• Ближайшее, аниме-версия: аниме-данных было мало, результатом недовольны
• Edit-модель обсуждают, но для i2i нужны парные датасеты, малой команде тяжело
• XL на 10-12 млрд думают
• Пайплайн подписей на Gemma 4 и prompt enhancer обещают
• Автор советует Base вместо SFT: у SFT бандинг и специфичный стиль

Реддит уже банил пост, но сейчас он открыт, вопросы все еще можно задавать

#mossimage #ama

MAX
👍8🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
EdenLive

Генеративная отрисовка видео в реальном времени

VAST выложили модель которая превращает черновой прокси-стрим в готовое видео

Что на входе
• Поток прокси из 2D или 3D сцены, игрового движка или записи
• Первый кадр и текстовый промпт
• Внешний код держит состояние сцены и взаимодействие, модель отвечает за картинку

Как устроено
• Управление идет через пост-обученный кодировщик DINOv3: признаки кадра прокси подаются в диффузионный трансформер
• Две ветки: 14B на Wan2.1 I2V для 480p и 5B на Wan2.2 для 720p, у каждой двунаправленный и потоковый режим
• Поток собирается чанками по 4 шага, декодер TAEHV дает 24 FPS и выше
• Есть демо на несколько минут, 5B в 720p работает на одной карте

Что с весами
• Около 210 ГБ ‼️, все компоненты в одной папке
• Блок на FLUX.2 klein нужен только для первого кадра в реальном времени, лицензия некоммерческая

huggingface.co/VAST-AI/EdenLive
github.com/VAST-AI-Research/EdenLive

#rendering #v2v #realtime
🤯11👍3❤2
This media is not supported in your browser
VIEW IN TELEGRAM
VideoMaMa++

NeurIPS 2026, KAIST. Модель делает альфа-мат из маски и видео, включая волосы и тонкие края

Предыдущая версия

• Диффузионный бэкбон тянет только 6-24 кадра, поэтому видео режется на чанки
• Каждый чанк уточняет маску сам по себе, на стыках скачут края и прозрачность

Как решают
• RGB и маска идут отдельными потоками токенов, сводит их полное пространственно-временное внимание
• Две обучаемые метки на кадр: preserve держит готовый мат как образец, refine превращает грубую маску в точную
• Скользящее окно передает мат из прошлого чанка в следующий, глобальный якорь не дает ошибке накапливаться
• Дообучения под длинные ролики не нужно

• Лучший результат по всем метрикам на трех бенчмарках

github.com/cvlab-kaist/VideoMaMa-PlusPlus - ждем

#segmentation #mask2matte #video2matte

MAX
❤6👍2🔥1
UniForge3D Windows 8 GB VRAM

Форк UniForge3D запускает модель на 3070 Ti на 8 ГБ, 64 ГБ оперативки, без conda и nvcc.

Что изменили
• Готовые wheel-пакеты вместо сборки: CuMesh, FlexGEMM, o_voxel, nvdiffrast и flash-attn лежат под cp311 win_amd64
• Поэтапная загрузка весов: пик денойзера 6,3 ГБ вместо 12, первый шаг через 21 секунду вместо 102
• Конвертация в fp16: диск с 41 до 19 ГБ, проверка тензор за тензором, результат бит в бит
• Скачивание с докачкой по частям
• Веб-интерфейс: 2-4 фото, просмотр и скачивание glb в браузере

Что на выходе
• prediction.glb с запеченными #PBR-текстурами
• Отдельно basecolor.png и metallic_roughness.png на 2048
• Один кейс около 240 секунд

• 16 ГБ оперативки не хватит: даже с флагом low-ram пик загрузки одной группы 23 ГБ

#lowvram #scenereconstruction #imageto3d

MAX
🔥9👍2
#MossImage

huggingface.co/lodestones/Kromoss - Kromoss: файнтюн MOSS-Image-Base в 1024px, чинит мыльность, энкодер Qwen3.5-9B + FLUX.2 VAE. В комплекте 8-шаговая турбо LoRA

github.com/Rkkss/ComfyUI-Spectrum-MOSS - Spectrum для MOSS: «auto»-нода после модели. Тестировалось без турбо — приятный результат от 12 шагов на 1.3Mpx (1168px) за ~30 сек на 3060 12Gb. Kitchen Attention на MOSS скорости не помогает #optimization

huggingface.co/akhaliq/MOSS-Image-SFT-4-steps - 4-шаговая турбо LoRA для MOSS, вышла v2. Первая версия упрощала композицию

#LoRA #slider

huggingface.co/axiomofmind/Moss-image-gouache-lora - гуашь: винтажные рисованные иллюстрации и постеры

huggingface.co/axiomofmind/Moss-image-psychedelic-lora - психоделика: насыщенный неон, сюрреальные сюжеты, графичные формы

huggingface.co/Danrisi/nicegirls_v2_moss - nicegirls_v2 порт под MOSS, на низкой силе дает разнообразие лиц

github.com/HyperGAN/moss-image-sliders - слайдеры теплых/холодных тонов

civitai.com/models/3010015/moss-lighting-slider и huggingface.co/Playtime-AI/Moss-Image-Age_Slider - базовые слайдеры освещения и возраста

#comfyui

github.com/levzzz5154/ComfyUI-MOSS-PromptWeight - вес фразы в промпте: Qwen3.5 игнорирует обычные (word:1.2)-веса, нода применяет их внутри attention. Пример: (red hat:-1), (yellow flowers:1.5) #prompting

github.com/b4ldur/ComfyUI-MOSS-BBox1000 - конвертер BBox-раскладки 0–1000 для MOSS, независимый от разрешения. Ранняя версия ломалась на других разрешениях

github.com/xb1n0ry/ComfyUI-MOSS-Prompt-Enhancer - энхансер промптов: простой промпт → расширенное описание → JSON-макет с боксами → скомпилированный MOSS-промпт (компилятор из официального скилла). Есть caption-режим без боксов. Рекомендуется Qwen 3.8 27B Q4, 9B сойдёт

huggingface.co/mdevoz/qwen3.5_9b_ultra_uncensored_heretic_int8_convrot - абляция промпт-апсемплера MOSS (int8convrot). Оригинал: huggingface.co/llmfan46/Qwen3.5-9B-ultra-uncensored-heretic
#uncensored

github.com/spooky-local/MOSS-Layout-Editor - редактор раскладки: рисовать/двигать боксы, подписи регионов и рендеримый текст

github.com/0Printemps0/ComfyUI-MOSSLayout - второй визуальный редактор раскладки, форк ComfyUI-IdeogramHelper

huggingface.co/sorryhyun/moss-image-colorize - MOSS как раскрашиватель лайнарта: вход через vision-башню Qwen3.5 и как VAE-латент в DiT. Сохраняет линию, лица, надписи. Ноды img2img: github.com/sorryhyun/ComfyUI-MOSS-i2i

#controlnet

huggingface.co/darask0/MOSS-Image-color-depth-control - контрол-адаптер по карте цвет-регионов и карте глубины. ComfyUI-реализации пока нет

civitai.com/models/3010285/moss-color-and-depth-control - модел-патч к цвето/глубина-контролю MOSS — вместе работают как простой ControlNet. Воркфлоу на civitai.red
———

huggingface.co/MATLOWAI/MOSS-Image-SFT-DeBand-int8 - SFT с вшитым фиксом вертикальных цветных полос (de-banding), int8

github.com/shootthesound/Fizgig/releases/tag/v8.5.0 - Fizgig 8.5: поддержка MOSS для LoRA и слайдеров. Тренируется легко и быстро, хватит 12Gb. Совет автора: res_multistep + simple лучше euler. Spectrum при этом не ломается #finetuning
👍7🔥2
Ming-3.0-audio

Понимание аудио напрямую, без текста посередине

• Нна выход текст или голос
• Две версии: flash на 126 млрд с 6,5 активными и tiny на 9,3 млрд с 2,7 активными

• Распознавание речи в шуме, с диалектами и акцентами, для нескольких говорящих
• Ответы на вопросы по содержимому аудио, рассуждения над звуком
• Понимает длинные записи, речь, шумы, музыку, обстановку
• Голосовой ответ с клонированием по референсу

• Основные языки - китайский и английский
• tiny живет на одной видеокарте
• У flash контекст на 128 тысяч токенов, нужны восемь H800
• Лицензия MIT

• Поднимается через vLLM-Omni и SGLang, OpenAI-совместимые эндпоинты

huggingface.co/inclusionAI/Ming-3.0-audio-flash
huggingface.co/inclusionAI/Ming-3.0-audio-tiny
github.com/inclusionAI/Ming-3.0-audio-flash

#alm #stt #tts #voicecloning

MAX
🔥4❤1👍1
Jockey

TwelveLabs выпустили чат-агента для видео и фотоархивов. Основа - их модели: Marengo кодирует содержимое (люди, объекты, звук, текст в кадре), Pegasus рассуждает о событиях и контексте.

• Отвечает на вопросы по всей библиотеке
• Находит нужные моменты и отвечает с таймкодами и ссылками на клипы
• Связывает связанные сцены из разных роликов, сравнивает и делает сводки
• Собирает первый черновик монтажа из удачных кадров

Подключение
• Ставится агенту как #MCP-коннектор
• Работает в Claude и ChatGPT
• Видео добавляется загрузкой файла или по ссылке, YouTube тянет напрямую

Для кого
• Креаторы, маркетинговые команды, спортивные и робототехнические проекты
• Любой, у кого накопился архив футажа, который лень пересматривать

Есть бесплатный тариф

Попробовать

#assistant #t2v #directing

MAX
👍4
This media is not supported in your browser
VIEW IN TELEGRAM
FLUX 3 Max

Ускоренный FLUX 3 Video на fal

Ускорение сразу на трех уровнях: дообучение с reinforcement learning, оптимизация инференса, переделка серверного движка. Дообучение подняло движение, детализацию и следование промпту

• #t2v #i2v , ключевые кадры в видео
• Ролики до 20 секунд
• 720p с апскейлом до 1080p
• Генерация звука
• Все через API fal

• 10-секундный ролик за 10,95 секунды, у оригинала 126,44, ускорение в 11,5 раза
• Seedance 2.5 обходит в 22 раза при том же Elo
• 0,0425 доллара за секунду 720p, скидка 75% до 7 ноября

MAX
👍4
OmniPoser

мокап без маркеров. Но нужны сенсоры или уже извлеченные ключевые точки, модель достраивает недостающие суставы. Пригодится для VR, аватаров, робототехники и анимации.

Раньше под каждый набор сенсоров учили свою модель, здесь одна архитектура на все

• На вход любые комбинации датчиков, включая верх тела, пять точек VR или только голову
• Понимает, каких суставов нет, и достраивает их по смыслу, а не нулями
• Отдает готовый SMPL: поза, форма, контакт стоп с полом, глобальная траектория без дрейфа
• Один шаг генерации, без перебора вариантов

• Больше 700 кадров в секунду
• Реальное время на одной видеокарте
• Точность на уровне специалистов: 32,1 мм на AMASS против 34,8 у RoHM, на Nymeria 21,1 против 59,3

github.com/JamesBridgewater51/omniposer

#mocap

MAX
👍3❤1🔥1
LILIE

Энкодер из Стэнфорда, делает потери при обучении картинок умнее

Пиксельная ошибка одинаково наказывает за шум на небе и за размытый самолет, хотя смысл у них разный. LILIE учит пространство, где расстояние ближе к смыслу.

• Обратимый энкодер: картинка разбирается и собирается обратно без потерь
• Обучен так, чтобы языковая модель по зашумленным признакам восстанавливала подпись
• Дает готовую функцию потерь для текст-в-картинку, работает вместе с обычным пиксельным лоссом
• В комплекте кодировщики и генеративные модели

github.com/SuchirAgarwal/lilie
huggingface.co/suchiragarwal/lilie

#encoder #training

MAX
👍5