Будущее Минимакса

Красавчики. Пришли на реддит и бахнули огромную АМА сессию. Ответили на тьму вопросов.

https://www.reddit.com/r/StableDiffusion/s/O0rqbtpxzn

Для староверов и ADHD:
Tldr:
2K Regenerate - будет open-source и, судя по формулировке команды, относительно скоро;
Sparse Attention - первая версия тоже “near term”;
официальный 4/8-step рассматривается, но без обещаний по срокам;
отдельная image-модель из линии H3 - в разработке.

Для нормисов :

Самое главное: нативный H3-Regenerate-2K действительно откроют. Это не обычный апскейлер и не «второй прогон тем же H3». Команда пояснила за отдельный latent-space DiT regeneration checkpoint, который генерирует на более высоком разрешении, используя результат базовой модели как дополнительный контекст. Часть референсов также подаётся в повышенном разрешении. Модуль сейчас дорабатывают по скорости и качеству именно для локального использования, поэтому точной даты нет, но на отдельный вопрос «аскороли?» разработа ответили буквально: “yep, not very far”.

По Sparse Attention ещё наряднее. H3 не использует MSA из MiniMax M3, как многие предполагали. Их схема ближе к MoBA-style block selection: соседние visual tokens сильно коррелируют, поэтому MiniMax делает mean-pooling блоков и по этому представлению определяет важные блоки, без отдельного обученного indexer. Сейчас 3D sparsification применяется только к video tokens, потому что именно они съедают большую часть sequence. Image/text tokens пока изучаются как следующие кандидаты.
Кто нихрена не понял - первую открытую реализацию sparse attention обещают в ближайшее время, причём сначала в консервативной конфигурации с целью получить ускорение без заметной потери качества. (Это круто, скорость - главный минус)

С 4/8-step H3 всё чуть менее нарядно. Выпущенный checkpoint уже содержит CFG distillation, плюс на финальной стадии обучения использовалась дополнительная стратегия, благодаря которой модель и сейчас умеет несколько снижать число inference steps. Но это не полноценная step-distilled Turbo-модель. MiniMax продолжает исследовать distillation и прямо рассматривает официальный 4-NFE или 8-NFE вариант, однако честно пишет, что не может пообещать его в ближайшее время. То есть community Turbo LoRA пока останутся актуальны.

Ещё одна неожиданно прельстивая новость - картинки!!
На вопрос про настоящий Text-to-Image / single-frame H3 MiniMax ответил, что они уже делают отдельную image model из общего предка H3 (круто звучит) и рассчитывают выпустить её для сообщества. То есть нынешние хаки «сгенерировать 5 кадров и выдернуть первый» действительно временные - полноценная H3 image-модель официально в разработке.

Из архитектурных деталей команда также поъяснила за prompt adherence. По их словам, дело не в каком-то одном хитром модуле, а в очень широком и разнообразном наборе данных и задач, обученных на общей масштабируемой архитектуре. Иными словами, меньше магических костылей под отдельные задачи, больше общего multimodal training. (Gemini Omni нервничает и готовится апдейтнуться)

За цензуру не говорили. Но видео в шапке говорит само за себя.

Красавцы, чо.

@cgevent

#Нейропрожарка

"Lord of the Taiga"

Автор: @ev_gnedkow

Идея / история создания:

Решил поучаствовать в конкурсе от Higgsfield — они раздавали гранты на 100 000 кредитов. Очень уж сильно хотелось его получить. Стал думать, что бы такое нагенерить, и как-то вышел на старого лесника, который умеет превращаться в медведя, чтобы защищать тайгу от массовой вырубки. По сценарию каждое такое превращение стирает часть его человеческой памяти, и в финале он должен был смотреть на родную внучку как на чужую. Так бы трейлер и закончился, но из-за ограничения по хронометражу пришлось его подрезать.

Как собирал:

1. Промпты и добивка сценария — Claude Opus 4.8. Закинул в Cowork все материалы, подключил пару своих скиллов и начал с подбора главных героев.

2. Листы персонажей — Nano Banana Pro и Seedream 5.0 Pro. Каждый лист потом дорабатывал в фотошопе. Локации делал через Cinema Studio в самом Higgsfield — как я понимаю, это та же «банана», только с добивкой по конкретной камере.

3. Вся анимация — Seedance 2. Чтобы не сильно раздувать бюджет, гонял его через безлимит в Runway.

4. Интересное наблюдение по безлимиту Runway: после оплаты тарифа первые ~30 роликов генерятся где-то по полчаса, но после этой тридцатки Runway сильно просаживает скорость — вне зависимости от времени суток выдавал мне 2 ролика в час. Запускал генерации с 7 утра и заканчивал ближе к часу ночи, так за день получалось вытащить 28–36 роликов. Когда сроки поджали, переключился с безлимита и скушал все кредиты в Runway.

5. Музыка и озвучка — ElevenLabs. Suno на бесплатном тарифе делал не совсем то, что хотелось.
Сборка — в обычном CapCut. Для ютуба прогнал через локальный Topaz и поднял до 4K.
https://youtu.be/6HbWYDdD9EU?si=gQwStld-0iyE2rJk

По срокам и деньгам:

На весь ролик ушло 5 дней — начал в последний момент, поэтому и пришлось прыгать с безлимита на кредиты.

Claude — $20.00
Runway — $47.50
ElevenLabs — $22.00
Higgsfield посчитать сложно, там годовой план. Сжёг где-то 2000 их кредитов — сейчас предлагают докупить столько же за $95.00.

@cgevent

Wan Animate 2. ADHD-трейлер

Alibaba выкатила Wan Animate 2, и старый pose-control ползет умирать. Теперь модель напрямую смотрит driving video без скелетов и промежуточных костылей, тащит мимику, руки, несколько персонажей и умеет менять ракурс камеры текстом, не ломая движение.

По смыслу это типа конкурент SCAIL-2, но акценты разные: SCAIL-2 пока обкатаннее в replacement и сложных multi-character сценах, а Wan Animate 2 выглядит круто именно как motion transfer + camera control. Уже есть веса, код, ComfyUI и 10-step Distilled
Есть даже streaming Lite на заявленных 24 fps, но пока только в статье, веса не выложили.

🔗 Demo: https://humanaigc.github.io/wan-animate-2/
🔗 GitHub: https://github.com/Wan-Video/Wan-Animate-2
🔗 Hugging Face: https://huggingface.co/Wan-AI/Wan2.2-Animate-2-14B

@cgevent

Немного утечек про Seedance 2.0

Модель оценивают примерно в 200 млрд параметров. Главная ставка - один огромный unified-backbone, который умеет text-to-video, image-to-video, first/last frame, multi-reference, video editing и работу одновременно с изображениями и референсным видео.

Причём решение масштабировать Seedance минимум до 200B якобы приняли ещё в конце 2025 года, несмотря на внутренние споры.

Для сравнения - Минимакс Н3 - 33 миллиарда параметров.

Ещё интереснее экономика: источники оценивают маржу Seedance в 70-90%, в одном из расследований фигурирует около 80%. Seedance уже якобы приносит больше половины MaaS-выручки Volcano Engine.

@cgevent

#Нейропрожарка

Трейлер "Красное солнце Педжента".

Автор: Режиссер-оператор-сценарист: Дмитрий Корниенко

тг @Fidelmov


Сразу о важном. Это дань уважения Великому фильму, режиссеру и актерам. Это не танцы на костях и не ради хайпа. Это творческая история. Мне казалось было бы интересным увидеть вновь на экране любимых героев: Сухова, Саида и показать возможное продолжение "Белого солнца пустыни".
Читал записки сценариста оригинала, интервью Мотыля и примерно представлял что планировалось.
Там поговаривали и о сериале и о приквеле, но можно точно утверждать одно - арка Джевдета, была оставлена на продолжение.

✍В общем и целом на создание ушло три дня.
Сценарий у меня написан давно - всего полного метра.
Создавал карты персонажей в Nana Banana 2: Сухов, Джавдет, Саид, Старцы (кто заметил их - респект), Екатерина Матвеевна, Британец и мальчик.
Локации создавал в режиме Cinematic в агрегаторе Freepic (там можно выбирать камеры, объективы и фокусное расстояние, со светом - очень вкусно).
🎬Генерации: Seedance 2.0, Kling 2.6.
Голоса я клонировал в Suno.
В общей сложности по деньгам если прикинуть вышло около 6.000 рублей.

@cgevent

И снова про "мёртвый интернет".

Журнал Time начал продавать рекламу, созданную специально для ИИ-ботов. Для них сайт отдаёт специальную версию страниц в Markdown (без обычного визуального оформления, зато с рекламными спонсорскими блоками).

Идея называется GEO (Generative Engine Optimization). Если совсем просто: теперь бренды хотят не только попасть на первые страницы поисковиков типа Гугла и Яндекса, но и залезть прямо в чугунную голову к ChatGPT, Gemini и другим ИИ-болванам.

Самое прекрасное: Time говорит, что ИИ-боты уже стали настолько часто лазить по их сайту, что их трафика бывает больше, чем человеческого. То есть сайт вроде бы работает для людей, но значительная часть его посетителей это роботы. И вот теперь для этих роботов начали делать отдельную рекламу.

Проверил сам, через curl запросил рандомнкю страницу Time под видом агента. И получил отдельную .md версию страницы. Причём прямо в начале лежит рекламный блок Ally (американский онлайн-банк) с готовыми фактами, формулировками бренда и FAQ вроде "What bank is best for everyday spending and saving?".

Человек эту рекламу может вообще не увидеть. Зато её увидит AI-агент, переварит, а потом вполне убедительно объяснит вам, почему именно этот банк лучше остальных.

Добро пожаловать в интернет, где SEO уже недостаточно. Теперь надо оптимизироваться ещё и под мозг робота.

источник

WorldClaw: ну, за моделлеров!

TLDR: ну за моделлеров, не чокаясь.

Это настолько занятно, что я, как 3д-дед по прошлой жизни, распишу подробнее. Трехмерщикам читать и бояцца. Композерам тоже - за ними тоже скоро придут с таким подходом.

Итак, WorldClaw от Tencent (Hunyuan3D) превращает текстовый промпт типа "грабеж корованов на пересечённой местности" в полноценный редактируемый 3D-мир, причем не видео, не сплаты, а прям 3Д в Блендоре.
И внутри этой. Клешни Мира не одна мега-модель, а довольно хитрый агентный конвейер.

Аналогом мозга моделлера выступает Claude Opus 4.8: он разбирает запрос на регионы, типы ландшафта, материалы, объекты и связи между ними.
Далее GPT-Image-2 сначала рисует цветную 2D-карту расположения регионов, после чего WorldClaw процедурно строит по ней в Блендоре единый height field: горы, дюны, террасы, эрозию, перепады высот и переходы между зонами. То есть сам ландшафт строится процедурно, а ии-моделлеры определяют его структуру и параметры. Камни, растительность и другие повторяющиеся элементы отдельно генерируются как референсы через GPT-Image-2, превращаются Hunyuan3D в reusable 3D-ассеты и разбрасываюцца по ландшафту.

Дальше начинается самое интересное. Для выбранного участка Блендор делает обычный 2D-рендер уже готового ландшафта, сохраняя положение камеры. GPT-Image-2 берет этот рендер и дорисовывает туда нужную композицию: корованы, верблюды, грабли и прочие объекты. Эта картинка служит не финальным результатом, а планом будущей 3D-сцены. SAM3 работает именно с этой 2D-картинкой: находит и вырезает из нее каждый отдельный объект вместе с маской. Затем SAM3D берет crop+mask и восстанавливает объект как самостоятельный текстурированный(!) 3D mesh. Благодаря сохраненной камере WorldClaw вычисляет, где этот меш должен находиться на исходном ландшафте, какого он должен быть размера и под каким углом стоять.

Если реконструкция SAM3D получилась хреновой, в дело снова вступает Hunyuan3D: ему дают черновой mesh плюс исходный 2D-crop, и он улучшает геометрию и PBR-материалы. После этого Claude через BlenderMCP несколько раз рендерит сцену, проверяет масштаб, позы, висящие в воздухе или провалившиеся объекты и локально исправляет и меши, и ландшафт. На выходе получается не NeRF, не Gaussian Splat и не красивое видео, а обычная добрая олдскульная 3D-сцена: единый ландшафт плюс независимые затекстуренные meshes, которые можно двигать, удалять, переиспользовать и дальше редактировать в Блендоре или переносить в любой пайплайн.

На итоге: общее устройство мира - старый добрый procedural generation, а свора нейросеток отвечает за ручное позиционирование, внешний вид и наполнение.

Работает все на Blender 5.1.1 и сервере с четырьмя NVIDIA H20. (Это Хоппер для китайского рынка).

Тут я заподозрил, что все это хозяйство будет стоить дороже чахлого кожаного моделлера.
Попросил chatGpt прикинуть стоимость одной сцены ибо авторы сами пишут, что все это ии-моделирование чудовищно долго и медленно.

"Отсюда я бы оценивал не себестоимость WorldClaw, а реалистичный нижний порядок примерно так: если сложный мир занимает на четырех H20 3 часа, GPU дадут ~$8.3, API еще условно $3-10, итого порядка $10-20 за генерацию. Если же агент ковыряет насыщенную сцену 6+ часов, делает десятки GPT-Image-2 вызовов и многократно переделывает объекты, легко получается $20-40+. Но это уже моя расчетная оценка, а не цифра Tencent. Главная неизвестная сейчас - сколько wall-clock времени реально занимает один из миров из статьи. "

Итого, сорок баксов за 6+ часов (в день).

Берём?

https://tencent-hunyuan.github.io/Hunyuan3D-WorldClaw/

@cgevent

Богомерзкий нейрослоп или богоугодное видео?

👍 Видео
👎 Генерация

@cgevent