Вы находитесь здесь.

@cgevent

Вы будете смеяться, но у нас новый генератор картинок и новый генератор видео.

Метачка представила Muse Image и Muse Video – генераторы с рассуждением, поиском и нативным звуком

Это первые модели генерации, созданные подразделением Meta Superintelligence Labs. Главная ставка сделана не только на качество картинки, но и на «агентный» подход: перед генерацией система может обдумать запрос, обратиться к интернету, написать и выполнить код, найти визуальные референсы, а затем самостоятельно исправить результат.

Сразу про доступ:

Muse Image уже доступна в приложении и на сайте Meta AI, в Instagram Stories в США и в WhatsApp в ограниченном числе стран. Позже модель появится в Facebook, Messenger и рекламной системе Advantage+ Creative.

Сколько стоит генерация (непонятно совсем):

Базовая генерация Muse Image в Meta AI заявлена как бесплатная для повседневного использования. После достижения бесплатных лимитов Метачка предлагает переходить на платные планы Meta One.

* Meta One Plus – $7,99 в месяц;
* Meta One Premium – $19,99 в месяц.

Premium предоставляет больше вычислительной мощности, более высокие лимиты на сложные запросы и расширенные возможности генерации изображений и видео.

При этом Метачка не опубликовала количество кредитов в каждом тарифе и не сообщила стоимость одной генерации в кредитах. Неизвестно, одинаково ли списываются кредиты за создание картинки, редактирование, использование нескольких референсов и дополнительные циклы самокоррекции. Цена на Muse Video также не раскрыта.

Теперь для гиков.

В отличие от обычной схемы «промпт – изображение», Muse Image работает совместно с мультимодальной моделью Muse Spark. Spark анализирует запрос и составляет план, а Muse Image занимается визуальной частью. Обе модели могут совместно использовать инструменты и распределять между собой этапы выполнения задачи.

Muse Image получила два интересных инструмента:

Поиск в интернете. Модель может искать свежую информацию и визуальные референсы. Это должно уменьшить количество ошибок при генерации реальных мест, актуальных событий, известных объектов и информационной графики.

Исполнение кода. Во время обучения с подкреплением модель научили писать и запускать код для построения графиков, схем и работающих QR-кодов. Полученный программным способом результат затем используется как условие для финальной генерации. В связке с Muse Spark система также способна создавать анимированные GIF, страницы с изображениями и простые интерактивные игры.

Второе важное отличие – самокоррекция. После первой генерации Muse Image может проанализировать картинку, локально исправить неправильную деталь, полностью пересобрать изображение или сменить подход и подключить дополнительные инструменты. Метачка утверждает, что такое поведение не прописывали вручную: оно сформировалось во время RL-обучения, потому что самостоятельные исправления повышали итоговую оценку модели.


Редактирование и работа с рефами
Muse Image поддерживает генерацию по тексту, редактирование и многократные последовательные правки в одном диалоге. Пользователь может обвести или зарисовать область на фотографии и текстом объяснить, что нужно удалить, заменить или дорисовать.

Модель также умеет пользовать рефы. В Meta AI разрешено упоминать аккаунты инсты через @username – тогда система получает возможность использовать публичные фотографии соответствующего профиля для генерации.

Параметры модели

Нет НИЧЕГО. Ни разрешений ни длительностей.

Muse Video пока не запущена публично.

По бенчами Muse Image занимала второе место в рейтингах Arena сразу по трём категориям:

* генерация изображения по тексту;
* редактирование одной картинки;
* редактирование с несколькими изображениями.

Muse Video находилась на третьем месте в Arena среди моделей text-to-video.

Мое диванное мнение такое: Метачка отчаянно тормозит на рынке генераторов контента, но пытается очень плотно встроить их во все свои продукты, чтобы пользователи не ходили налево.

@cgevent

Кстати, вот вам сравнение Seedance 2.0 и Meta Muse Video

На мой взгляд очень неплохо. Метачкин жонглер мне больше нравится.

Но похоже, что Muse Video - это 10 секунд, и оно пока не вышло.
А Сиденский нам обещает в течение 10 дней бахнуть 30 секунд и 4K.

@cgevent

Метаверс-салон

Если вы вдруг стоите в очереди на заправку, ну или в пробке застряли, то вам понравится апгрейд до метаверс-салона.
На двери дополнительные картриджи для виртуальной реальности..

Особенно доставляет подпись Peek german engineering в инсте.

Похоже специально для водителей бмв, которые дрочмолятся на свои машины.

@cgevent

MF0.ai — все топовые ИИ в одном окне, а платишь, как за такси

Пообщался поплотнее с Пашей, вынес пару инсайдов. Мне всегда было интересно, сколько я выжираю токенов, сидя на подписке за 20 евро (у меня их три, если брать LLM) и не дешевле было бы платить за АПИ вызовы, типа сколько съел, столько заплатил. У Паши, как раз такой сервис (апи коллз) и он поделился, что типичный пользователь укладывается в ~$1.5 в месяц, самые прожорливые «киты» — $5–18. А я плачу 60. Хм.

Также я часто спрашиваю все троих, один и тот же вопрос - приходится скакать по окнам, а тут это встроенная фишка "спросить сразу всех и сравнить".

Кстати, недавно искал посылку по номеру DHL, никто кроме chatGPT не смог дать инфо, даже Фабле (мы не такие, мы не умеем). А chatGPT после окрика быстро все нашел.

Короче, я залез в Пашин сервис и приподофигел. Оплата криптой - вишенка на торте и никаких подписок. И да, картинки и видео тоже есть (плата за апи колл). Ну и 3Д-память меня просто уничтожила, я ж 3ДДед.

Короче, ниже информационный текст, а я люто плюсую. Сделал реферальную ссылку, вы, кстати тоже можете.

Забудьте про зоопарк подписок. В MF0.ai под одной крышей — ChatGPT, Claude, Gemini, Grok, Perplexity плюс генерация изображений и видео, веб-поиск, глубокий ресёрч и голосовой чат. Никаких «$20 в месяц за одну модель»: здесь оплата только за реально использованное, и точная цена каждого запроса видна сразу. И это не маркетинговые обещания, а живая статистика: типичный пользователь укладывается в ~$1.5 в месяц, самые прожорливые «киты» — $5–18. То есть доступ ко ВСЕМ топовым моделям выходит дешевле, чем одна-единственная подписка.

Но дешевизна — не главное. Главное — фичи, которых больше нигде нет.

AI-Opinion: задаёте вопрос — и все подключённые модели отвечают разом, в одной панели, а сверху вы получаете общее резюме. Больше не нужно гадать, «что сказал бы Claude против GPT» — спросите всех в один клик.

Fusion (Слияние) идёт ещё дальше: это не ответ на абзац, а полноценный разбор с оглавлением на три уровня, фактчекингом и синтезом из всех доступных топ-моделей — по сути персональный research-отдел за центы.

И вишенка — память, которая живёт. MF0.ai строит из ваших диалогов Дерево Памяти: трёхмерный граф-галактику, где всё, что вы когда-либо обсуждали, само связывается в единую картину (никакой Obsidian с ручными ссылками рядом не стоял — тут это происходит автоматически). А Цифровой Мозг — буквально 3D-визуализация вашей памяти — помогает в ней ориентироваться. Добавьте инкогнито-режим для приватного, генерацию картинок и видео, ачивки — и всё это в одном месте, на 11 языках. Один ИИ-хаб вместо десяти вкладок и пяти подписок

@cgevent

Seedream 5.0 PRO

Если вы поиподустали от глюков Бананы в последнее время, держите новую игрушку.

Сидримский 5.0 Про - упор на инструменты редактирования:

Пользователь может указать нужную область точкой, рамкой, лассо, цветной пометкой или простым наброском. После этого модель способна добавить или удалить объект, изменить его цвет по HEX-коду, заменить материал или превратить грубый скетч в готовый дизайн.

Но о чем мало пишут - это слои! Причем в PNG и с прозрачностью.

"разделение готового изображения более чем на десять независимых слоёв - отдельно текст, фон, персонажи и декоративные элементы, включая восстановление ранее перекрытых участков фона"

Также много слов про инфографику и текст (14 языков, мелькает русский).

И странно, что максимально нативно только 2К.

Есть по АПИ как на самих byteplus, так уже и на всех аггрегаторах.
https://docs.byteplus.com/en/docs/ModelArk/1541523

Есть на магнифике, фал, вейвспид, Хиггс, далее везде.

По цене, если я правильно оценил - вполовину Бананы, но проверьте сами.

https://seed.bytedance.com/en/seedream5_0_pro

Техблог:
https://seed.bytedance.com/en/blog/beyond-generation-it-understands-design-introducing-seedream-5-0-pro

@cgevent

Seedream 5.0 Pro Nsfw

Он умеет ВсЁ прямо из коробки. И сверху и снизу. И вместе.

Конечно, если вы припретесь со своими богомерзкими промптами наперевес на какую-нибудь Креа или Магнифик или другой агрегаторный сервис, то вас пошлют подальше на этапе промпта.

Но если вы найдете правильного китайского или индийского API провайдера, то никто вас посылать не будет. Дергайте за вызовы с любыми промптами.

В коменты скину пожощще.

@cgevent

#Нейропрожарка

Быть героем

Автор: Максим Асовский

Идея была в том, чтобы создать динамичную приключенческую историю с интересным сюжетом. Хотелось воплотить интересную идею Стимпанк в мире сказок на Руси. Пока что названия проекта нет, в процессе раздумья.
Эта история не только про взаимоотношение двух братьев, но и про личностный конфликт. Герой не любит себя, живет в вымышленном мире, где он - супергерой, а точнее мощный богатырь. Он хочет быть таким и наяву, в том числе для своего брата, но внутренняя неуверенность ему мешает. Как итог - его внутреннее ощущение доказать себе и окружающим, что он чего-то стоит, приводит к трагичным событиям.
В качестве референса для стиля изображений был выбран анимационный сериал "Аркейн".

🛠 Инструменты:
- Хиггсфилд. Итого было потрачено ~5800 кредитов, это вышло ~25к рублей. (вышло дороже, чем могло, из-за того что кредиты покупались после дополнительно к подписке, что выходит дороже).
- Генерация изображений происходила в Хигсфилде, а именно в Синема Студио. В ЧатГпт был сгенерирован единый стилевой промпт на основе пачки изображений. Так же генерация усиливалась визуальными референсами. Было сгенерировано около 600-700 изображений (в том числе генерации на редактирование изображений в НаноБанано).
- Ретушь изображений происходила в фотошопе.
- Генерация видео была на модели Сиданс 2, большинство кадров было сгенерировано в качестве 1080р для достижения более качественной и стабильной картинки. Можно было использовать Клинг, но он слишком мазал картинку, поэтому было решено не экономить и сделать более приемлемый результат. Сиданс хорошо понимает стиль Аркейна, держится хорошо даже в динамичных сценах. Есть проблемы с анимацией людей на фоне, пробовал множество вариантов - лучшие результаты в видео.
- Озвучка была сгенерирована в ElevenLabs. Считаю, это самой слабой стороной видео, не смотря на использование одного из самых топовых сервисов для генерации аудио. Нет знакомых, занимающихся озвучкой, при этом не было времени на поиск таких людей, так как сроки сдачи проекта имелись и я очень много времени потратил на генерацию статики и видео.
- Липсинг делал через описание в промпте фраз, которые необходимо персонажу произнести. При этом описывал какие должен испытать эмоции персонаж. После генерил озвучку и примерно подгонял под губы.
- Монтаж делал в Премьер про, в монтаж входит: склейка, чистка склеек, редактирование слегка кривых видеофрагментов, саунддизайн, музыка, наложение озвучки. Все было сделано своими силами, никого дополнительно не привлекал.

⌛️Сроки:
- Поиск идеи, сбор мудборда, написание сценария, редактирование написанного сценария, подготовка раскадровки - 2 недели.
- Создание всех статичных сцен - 2 недели (вместе с отбором, ретушью и фильтрацией).
- Анимация всех статичных сцен 3 дня.
- Финальная сборка: монтаж, звук, пост - 3 дня.

Все процессы выполнялись последовательно. Суммарно работа проводилась в период с 28 мая по 4 июля.

@cgevent

Вот он, настоящий киберпанк

Мы тут радостно смотрели, как робаты прыгают сальтухи или разбирают посудомойку. И гоготали, когда они падали на сцене или сходили с ума. Ибо кожаные их так научили.

Теперь все наоборот. ИИ говорит кожаному, что делать, и кожаный послушно делает: играет на пианино(хотя не умеет), рисует прямые линии (хотя криворукий по жизни), играет в камень-ножницы-бумага как ему говорит электрический сигнал (дилеры в казино - тема).

Короче, теперь кожаный превращается в робата, а его мышцы в приводы. Используется Electrical Muscle Stimulation, EMS - электрическая стимуляция мышц.

Как работает этот Human Operator:

Камера на голове видит сцену от первого лица.
Пользователь произносит команду, например: «Помоги сыграть мелодию».
Изображение и команда отправляются в ИИ через Claude API.
Модель выбирает последовательность доступных движений: указательный палец, средний палец, большой палец, движение запястья и так далее.
Компьютер превращает план в команды с временными метками.
Arduino и плата реле подключают нужный канал EMS.
Электроды стимулируют соответствующую мышцу, и палец нажимает клавишу.

И это не MIT как взвизгивает твиттор, а прототип, созданный командой из всего шести участников на 48(!)-часовом хакатоне MIT Hard Mode 2026. Он победил в категории Learn Track.

А дальше мы с вами представляем костюм Айрон Мена, когда вся поверхность отдана под управление.
Шутки про nsfw - отставить!

Короче, кожаные тренируют робатов, а ИИ - кожаных.

Ну и правда, зачем 7 лет ходить в музыкалку - надел перчатки и ну лабать на свадьбах и похоронах!

https://humanoperator.org/

@cgevent

Кажется, в номинации "Сын года" у нас досрочный победитель.

Ютубер-инженер Джейк Лейзер смастерил для своего парализованного бати безумное инвалидное кресло-внедорожник. На основе промышленного робопса Unitree.

У его отца рассеянный склероз, из-за чего он уже много лет прикован к коляске. До болезни батя обожал туризм, поэтому сын решил во что бы то ни стало вернуть ему возможность выбраться на природу. Для этого он раздобыл огромного промышленного робопса Unitree за 100 тыщ баксов и использовал его как шасси. Ведь главная боль обычной инвалидной коляски это любые бордюры и неровности, которые превращают прогулку в квест. А обычная лесная тропа или большие камни зачастую вообще непреодолимое препятствие. Тут же база не просто на колёсах, а на ногах с колёсами. Может ехать, шагать, подниматься, переваливаться.

Яснопонятно, просто прикрутить стул к роботу не вышло бы: человек сверху сразу бы вылетел при первом шаге этой шайтан-машины. Изобретателю пришлось: полностью перепрошить мозги железной псины, чтобы она адекватно распределяла вес ездока, разработать режим "погрузки", в котором робот приседает до самой земли, чтобы в кресло было легко сесть, а так же сварить раму, установить само сиденье с ручками управления и всобачить мощную фару для ночных прогулок.

В итоге получился царь-трон. Эта штука гонзает по камням, проходит броды с водой, вззбирается на крутые холмы и даже поднимается по длинным каменным лестницам. А батя ютубера впервые за много лет смог выбраться на природу

Когда потратил все лимиты на Клод Коде

Узнали себя? Пытаетесь потратить максимум на подписке, где халаява закроется 15 июля?

@cgevent

xAI выпустила Grok 4.5 - теперь ещё и для кодинга

xAI представила Grok 4.5 - новую модель для программирования и агентных задач. Разрабатывали её совместно с командой Cursor, которая в июне перешла под управление SpaceX. Теперь у Маска окончательно собралась вся вертикаль: ракеты, соцсеть, ИИ и редактор кода.

В Terminal Bench 2.1 Grok 4.5 почти сравнялась с GPT-5.5 и отстала от Fable 5 всего на один балл. Звучит, пока не смотришь на DeepSWE 1.1: в задачах из реальных GitHub-репозиториев модель всё ещё уступает остальным.

API стоит $2 за 1 млн входных токенов и $6 за 1 млн выходных. По заявлению xAI, в SWE Bench Pro Grok 4.5 расходует в 4.2 раза меньше токенов, чем Opus 4.8. Скорость генерации достигает 80 токенов в секунду.

Модель уже доступна в консоли xAI, среде Grok Build и редакторе Cursor.

В странах Евросоюза запуск отложен до середины июля. Европа, как обычно, получит новую революционную модель чуть позже - когда юристы закончат читать документацию.

https://x.ai/news/grok-4-5

@cgevent

OpenAI выкатила GPT-Live - новый голосовой режим ChatGPT

Что изменилось:

* GPT-Live умеет слушать и говорить одновременно. Предыдущий Advanced Voice Mode уже работал напрямую со звуком, но всё равно ждал окончания реплики пользователя. Теперь модель может поддакивать, выдерживать паузы, не перебивать собеседника и реагировать прямо во время его речи. Особенно убедительно это работает на английском и в режиме синхронного перевода.

* В основе лежит full-duplex-архитектура. Вместо привычной цепочки «услышать - обработать - ответить» модель непрерывно принимает аудио и одновременно генерирует собственную речь. Несколько раз в секунду она решает, что делать дальше: продолжать слушать, начать говорить, замолчать, перебить пользователя или вызвать внешний инструмент.

* Сложные вопросы могут передаваться большой модели. Сам GPT-Live отвечает за живой разговор, а поиск, глубокие рассуждения и агентные задачи делегирует GPT-5.5. Пока старшая модель думает или ищет информацию, голосовой ассистент может продолжать беседу, а не зависать. На старте используются GPT-5.5 Instant либо GPT-5.5 Thinking с уровнями рассуждения Medium и High.

* Обновили все девять голосов ChatGPT. Модель также лучше отделяет голос пользователя от уличного шума и разговоров на фоне. А во время голосового диалога интерфейс теперь может показывать карточки с погодой, спортом, котировками и другой визуальной информацией.

Развёртывание уже началось по всему миру. Пользователи бесплатного тарифа получают GPT-Live-1 mini, а на планах Go, Plus и Pro основной голосовой моделью станет GPT-Live-1. Версия для API пока не вышла, но OpenAI обещает открыть её разработчикам позднее.

Новый режим пока не поддерживает видео и демонстрацию экрана - ради них придётся временно переключаться на старые версии Voice Mode.

https://openai.com/index/introducing-gpt-live/

@cgevent

Режиссерский софт

Перейдем от робатов к делам насущным. Поднял архивы постов и нашел, что больше трех лет назад писал:
"Интересно будет посмотреть на трушные нейропайплайны, когда chatGPT наговаривает промпты, по ним генерятся картинки для раскадровок, chatGPT дополняет это динамикой переходов, одновременно подгружаются видео-референсы со стоков, из которых достается движение камеры и оптики, по дороге пристегивается controlNet с персонажами, и весь этот компот идет на вход compot2Video."
https://t.me/cgevent/5165

Хех, и что мы видим в твитторах сегодня? Накаркал.

Тогда же в 2023 году писал:
"А к тому, что с видео и с анимацией все не так сладко, как с картинками. И на входе генерации видео будет тонна "гайдов" и референсов, а не только текст и кнопка "Генерить шедевр".
И эти гайды будут наследоваться из традиционных пайплайнов. Концепты и даже раскадровки можно генерить, а вот описывать движение камеры, персонажа, света, оптики словами - ну такое..."
https://t.me/cgevent/5281

Еще я упорно ныл, что видео - оно само по себе сложное. Там не просто пиксели бегают по картинке, там шевелятся десятки сущностей: персонажи, фоны, освещение, тени, фокусное расстояние, текстуры и еще много всего. Разметить картинку и разметить видео - немного разные задачи. Описать движение? Попробуйте сами двух словах. Промпты должны быть величиной с дом для попадания в замысел сам себе режиссера.
https://t.me/cgevent/7315

Это как бы затравка для небольшого марафона по тем инструментам, которые генеративная братия изобретает прямо сейчас, ибо с приходом Сиданского до всех наконец-то дошло, что видео словами не опишешь и нужны новые способы управления камерой, анимацией, светом, оптикой и что-там еще есть в этом бесовском видео.

Одно из решений - блокинг. Или превиз. Поэтому я так много постил за нейрорендер. Болваны в блендоре - рендер в Сиденском.

Теперь пошла новая волна - сохранение консистентности и стилей через глубину (видео идет путем контролнета).

И уже пошли софты типа LTX Director.

Об этом и поговорим.

@cgevent

MCP в Комфи. Автоглубина и автоконтролнет.

Как разминочный частный пример использования глубины для переноса Video2Video приведу очень интересный кейс использования MCP для комфи. Грубо говоря, оно все делает само.

Claude Fable запускает воркфлоу ComfyUI через Comfy MCP:

→ Claude сам нашёл нужный фрагмент видео в интернете, автоматически определил смены сцен и обрезал видео
→ запустил сохранённый воркфлоу с Depth Anything V3 и OpenPose, чтобы собрать референсное видео с движением
→ просмотрел каждый кадр, выбрал самый чёткий, а затем с помощью GPT Image 2 заменил персонажа на нужного точно по указаниям: смокинг, лиминальное пространство, никаких людей на фоне
→ написал промпты для Seedance 2.0 и запустил генерации
→ собрал итоговое сравнение из трёх панелей

Обычно именно препроцессинг и написание промптов занимают большую часть работы над таким роликом. А с MCP даже не пришлось открывать ни одну ноду.

Сорс

@cgevent

Framethrower

Из последних интересных инструментов выделю Framethrower: video-to-depthmap converter.

Достаете глубину из реального или нереального видео, используете как управляющий гайд для генерации своего видео.

Почему-то бесплатно тут:

https://www.framethrower.ai/

Также можно вспомнить:
LingBot-Depth 2.0
DepthAnything

@cgevent

Палладиум для Блендора

Следующий опенсорсный проект использует вместо глубины хитроумную конвертацию 2Д в 3Д и очень замороченный пайплайн:

Z-Image 2D > Pixal3D
360/HDRI dome + auto light alignment
3d > Klein Image > LTX video with Chatterbox speech - Pallaidium

Зато здесь подхватывается и освещение. И получается довольно крепкий управляющий контролНет.

И все опенсорсное, из говна и палок, как положено. Даже монтажка на базе Блендора.

Z-Image 2D > 3D: https://github.com/tin2tin/Asset_Generator-2D-3D
360/HDRI dome + auto light alignment: https://github.com/tin2tin/hdri_strip_to_3d_enviroment
3d > Klein Image > LTX video with Chatterbox speech - Pallaidium: https://github.com/tin2tin/Pallaidium

Подробнее:
https://www.reddit.com/r/StableDiffusion/comments/1uppqev/2d_3d_video_via_the_pallaidium_tools_for_blender/

А мы пойдем к более человеческим инструментам для режиссерского софта.

@cgevent

Pika Director’s Suite

Я уже писал про
LTX Director
LTX Cameraman v2 IC-LoRA
LTX 2.3 Video Builder UI for ComfyUI

Но похоже общая нейростарческая идея режиссерского софта начинает доходить до всех.

Тут Пика бахнула Режиссерский Набор! Пока в бете, но есть утечки по интерфейсу. Слева ассеты, внизу таймлайн.

Но сдается мне, что они не совсем понимают задачи такого софта. Там нет ничего про рефы и превизы. Снова кнопка сделать красиво. И упор на монтаж.

А вот про тех, кто понимает, поговорим в след посте.

https://experiment.pika.art/directors-suite

@cgevent