Все переобуваюццо в робатов.

Black Forest Labs выпускает FLUX Action, теперь Runway представляет Praxis-1. Обе идеи примерно об одном: модель смотрит на мир, предсказывает, что произойдёт дальше, и на основании этого управляет физическим робатом.

И логика этого массового помешательства вполне понятна.

Если видеомодель научилась хорошо предсказывать следующий кадр, значит, внутри неё уже есть какое-то представление о том, как устроен физический мир.

Video Model -> World Model -> Action Model -> Robat.

Ну и самое главное - у робатов все бабки. Об этом в след посте.

Praxis-1 обещают сделать open-weight, но сами веса пока придержали - обещают “в ближайшие месяцы”.

Но нам-то что с этого?!

Флюкс, где веса?

Рунвей, перестань делать биржы слоперов и обучалки для робатов, давай новую видео-модель!

В Метаверсе тоже по ходу одни робаты будут, что там людям делать...

https://runway.com/research/introducing-praxis-1

@cgevent

AMD покупает World Labs за $8.2 млрд.

Вопрос: зачем производителю чипов платить такие деньги за компанию, которая делает 3D-миры и world models?

Накидаю гипотез для чего это безумие.

1. Получить собственную frontier AI-лабораторию.

Чтобы не читать чужие papers и через год судорожно оптимизировать под них ROCm.

2. Проектировать GPU под будущие модели, а не под транформеры.

Новая архитектура модели -> новые требования к памяти и вычислениям -> новое железо.

3. Зайти в world models раньше, чем туда окончательно зайдёт весь рынок.

3D, видео, симуляция, физические пространства - всё это потенциально следующий гигантский пожиратор GPU.

4. Пролезть в робототехнику.

Synthetic data, simulation, обучение агентов и роботов - ещё один рынок, где NVIDIA уже давно расставила капканы.

5. Собрать свой ответ на Omniverse + Isaac.

Омниверс как-то не залетел в графику, но залетел в робатов. Еще одна причина по которой Флюкс и Рунвей переобуваются и держат хвост по ветру.

6. Перестать продавать просто ускорители.

AMD собирает полный стек:

модели -> software -> GPU -> racks -> data center.

То есть хочет продавать не железку, а всю инфраструктуру вокруг неё. Ох поздно!

7. Получить Фэй-Фэй Ли и её команду.

Вместе с World Labs AMD получает не только технологии, но и research-команду, способную влиять на то, какие workloads вообще появятся завтра.

Последнее, пожалуй, самое очевидное. В остальном я просто не понимаю, чем они заменят Cuda.

@cgevent

Признайтесь: сколько у вас сейчас открыто вкладок?

Я как-то поймал себя на том, что на один ролик уходит полтора часа, из которых собственно творчества — минут десять. Всё остальное: сгенерил текст тут, перетащил в другую вкладку, оттуда картинку скачал, залил в третью, озвучку добавил в четвёртой. Устал, закрыл ноут.

А на следующий день всё сначала. Потому что процесс нигде не записан — он был только у меня в голове, и то до вечера.

Самое обидное не в потраченном времени. Обидно, когда получилось реально круто, а повторить не можешь: не помнишь точную последовательность, настройки, какие модели брал.

Собственно, за этим и нужен Workflow в GPTunneL. Собираешь цепочку один раз — и она живёт: меняешь вход, получаешь новый результат по той же логике. Всё внутри одного сервиса, ничего между вкладками таскать не надо.

Удачный результат перестаёт быть удачей и становится процессом. Для бизнеса это 200 карточек или 50 роликов в едином стиле. Для творческих — десять вариантов сцены за то время, которое раньше уходило на один.

Полтора часа превращаются в пару минут. Я проверял 👈

💰 Если решите потестить — пополняйтесь по промокоду METAAI, он удваивает сумму первого пополнения. На эксперименты хватит с запасом.

Телеграм канал GPTunneL с идеями для контента

#промо

Вот думаю заказать себе такую клавиатуру, потому что использую правый Alt для надиктовки с помощью ChatGPT в любом месте Windows и Enter вместо Yes.

Думаю, что ноутбуки окончательно выродятся в планшеты. Зачем им клавиатура для вайб нормисов?

@cgevent

Вот и четверг подошел к концу.

Все посты бахнуты.

Сижу, читаю комменты, какой же срач вы там устроили.

Ладно, ставлю прожарку и пойду, пожалуй, есть Наполеон.

Смотрите Одиссея.

@cgevent

#Нейропрожарка

Одиссей. Легенды Школы Сколково

Автор: Тимофей Ступин

@lamiserest / https://youtube.com/@lamiserest_comm?si=7vkoKku9mthl4skG

Ролик (изначально подразумевалась целая серия) для Школы управления СКОЛКОВО. Был сделан ещё зимой (и Нолан тут не причём). Основная идея: спрятать в известной всем легенде эпизод с их обучением на управленца, точно перенести архитектуру кампуса школы
Я использовал Nano Banana pro и Kling 3.0. Некоторые элементы типографики были сделаны в GPT image, у него лучше всех получается сохранить шрифт и текстуру референса. Значительная часть кадров генерилась для последующего трекинга и наложения 3D текста поверх(всё в AE). В середине ролика была использована коллажная техника в AE, но все исходники - NB + Kling. Неделя на генерацию, неделя на сборку. Бюджет: может быть, 4.000 р. с учетом большого количества вырезанных сцен (40 секунд хрона).

@cgevent

#Сеня_и_Даня_Здесь_Были

Помним за что это вам...

Для контекста.

OpenAI безжалостно уволила трех сотрудников после внутреннего расследования.

Официальная формулировка: они обращались с конфиденциальной информацией вне установленных протоколов и нарушили внутренние правила.

Но.

Все трое работали именно в Safety / Alignment и в последние недели публично рассказывали, какие ужасы может принести дальнейшее ускорение гонки ИИ.

А теперь выясняется, что часть внутренней информации они сливали внешней организации, занимающейся оценкой безопасности ИИ.

То есть люди, которые должны были следить за безопасностью внутри, решили, что безопаснее будет стучать наружу.

Без работы теперь.

А тем временем Даня: Broadcom готов предоставить Anthropic до $42 млрд финансирования под аренду вычислительной инфраструктуры. Как тебе такое, Сеня?

Одни приподистерят, не убьет ли нас AGI.

Другие возают еще $42 млрд на GPU и TPU.

@cgevent

Офигенный новый пост от Андрея Карпатого. Грех его не разобрать.

Потому что, наверное, многих из вас немножко приподдостала многословность, по крайней мере SOL 5.6, и необходимость просить его сокращать и вообще выдавать ему разные инструкции.

А тут сразу о том, как сразу получать хорошо и не только текстом, а "мультимедийно".

Пойду ваять системный промпт.

Дисклаймер: это не для написания литературных текстов и креативов. Это для объясняторов и помогаторов.

Смысл поста не в ASD-STE100 (см ниже). Он предлагает гораздо более интересную идею: перестать воспринимать текст как основной формат ответа LLM.

Его иерархия:

текст -> схема -> интерактивная HTML-страница -> персональное объясняющее видео.

И чем сильнее становятся модели, тем чаще кожаный будет не сам “делать работу”, а проверять, понимать и направлять результат. Поэтому формат, в котором модель объясняет свою работу человеку, становится почти так же важен, как качество самой работы.

Что такое ASD-STE100

Андрюша пишет, что просто попросите: “Explain this in ASD-STE100”

ASD-STE100 Simplified Technical English - реальный стандарт контролируемого английского языка. Его начали разрабатывать для авиационной технической документации, чтобы инструкции одинаково хорошо понимали специалисты с разным уровнем английского.

Там довольно жесткие механические правила:

- словарь примерно из 900(шта?) разрешенных общеупотребительных слов плюс специализированная техническая терминология;
- по возможности один термин -> одно значение;
- вместо цепочки синонимов выбирается одно слово, например start, а не begin / commence / initiate;
- максимум 20 слов в процедурном предложении и 25 в описательном;
- максимум 3 слова в noun cluster;
- в процедурных инструкциях используется active voice;
- ограничен набор допустимых форм глагола;
- один шаг или инструкция должны быть сформулированы максимально однозначно.

Можно смягчать, чтобы не разговаривать с робатом:

“80% of the way to ASD-STE100”

Идем дальше. Мультимедия: diagrams -> HTML -> video

Здесь Андрюша фактически описывает переход от LLM как генератора текста к LLM как генератору интерфейса объяснятора.

Например, вместо ответа на 3000 слов модель может сама решить, что конкретную тему лучше показать через:

* интерактивный(!) график
+ slider
+ несколько переключателей
+ анимацию
+ короткие пояснения

И сгенерировать для этого одноразовую HTML-страницу.

Раньше писать специальное приложение, чтобы объяснить кожаным один вопрос, было абсурдно дорого. Теперь его можно дажененавайбкодить, а просто попросить за минуту и выбросить после одного использования.

Это он называет “large, custom, discardable software artifacts”.

Мне кажется, это центральная мысль поста.

Короче:

> “Объясни мне трансформеры”

> Апажалуйста! На тебе одноразовый интерактивный учебник именно для тебя, после прочтения можешь выбросить. Следующий будет новее и лучше.

На итоге: Сам ответ может быть не текстом, как мы привыкли, а приложением, симуляцией, схемой или видео.

Остается одна проблема. Кожаный должен во все это вникнуть и понять. А кожаный ленив и туп. Никакой разжеватор не поможет. Поэтому остается вопрос: а может вы за меня и понимать будете?

ПС. Русский вариант в след посте.

@cgevent

Объяснятор по Госту

После написания предыдущего поста мне, конечно, стало интересно, как это всё адаптировать под наши нужды, под русский язык. И да, действительно, нашлась замена для английского стандарт.

Самый близкий прямой аналог для русского языка существует и называется УТР - упрощенный технический русский язык.

Он закреплен в ГОСТ Р 58049-2017 “Перевод эксплуатационной документации на изделия авиационной техники с/на иностранные языки”. Более того, сам ГОСТ прямо ссылается на Simplified Technical English и формулирует УТР как контролируемый технический язык с той же основной задачей - сделать текст однозначным, простым для восприятия и удобным для перевода.

Среди правил УТР:
- простой и однозначный текст;
- прямой порядок слов;
- преимущественно действительный залог;
- для инструкций - повелительное наклонение: “Установите крышку”, а не “Крышка должна быть установлена”;
- один термин для одного понятия - не прыгать между синонимами;
- запрет метафор, жаргона и образных сравнений;
- предпочтение коротких и простых терминов;
- не рекомендуется ставить подряд три и более существительных;
- сложные перечисления лучше оформлять вертикальными списками. Tdocs

Поэтому для ИИ можно бахнуть такой промпт:

Объясни это на русском языке по принципам УТР
(упрощенного технического русского языка, ГОСТ Р 58049-2017).
Используй прямой порядок слов, короткие предложения,
действительный залог и единообразную терминологию.
Одна мысль - одно предложение.
Не используй канцеляризмы, метафоры и лишние синонимы.
Не упрощай технический смысл.

Или, по аналогии с Карпатым, покороче:

Напиши примерно на 80% в стиле УТР по ГОСТ Р 58049-2017:
ясно, коротко и однозначно, но без чрезмерно формального языка.

@cgevent

Suno бахнуло Speech

Олды вспомнили про Bark

Теперь оно генерирует не только пестни, но и обычную речь сразу с фоновой музыкой.

Как:

- Пишете текст или просто описываете идею.
- Задаёте, каким должен быть голос.
- Описываете музыкальный стиль.
- Suno генерирует речь и оригинальную подложку вместе, одним треком.

Вот это вот все для озвучки видео, историй, медитаций, рекламных роликов, подкастовых вставок, voice-over, игровых сцен и прочего spoken content.

По цене пока всё просто: отдельного тарифа Speech нет. Beta доступна всем пользователям Suno.

Сколько конкретно credits съедает одна генерация Speech - непонятки.

Зачем это всё?

Suno постепенно перестаёт быть просто генератором треков и превращается в генератор готового аудиоконтента.

Музыка остаётся ядром, но теперь вокруг неё появляются речь, narration и потенциально другие виды аудио. Это уже прямой заход на территорию TTS, подкастов, аудиокниг, рекламы и озвучки видео.

И главный продуктовый ход здесь не в том, что Suno научилась говорить. Хороший TTS давно существует у всех.

Ход в другом: голос и саундтрек создаются как одна сцена, без отдельной генерации музыки и последующего сведения. И можно подавать на вход не текст для озвучки, а просто идею. Или тот бред, который у вас в голове, и он создаст для этого умный текст и фоновую музыку для последующей медитации.

Мета-озвучка идей с музикой.

Можно ли получить голос без музыки? Вроде да. Можно отключить подложку, но надо тестировать.

Источники:

https://suno.com/blog/introducing-speech-beta

https://suno.com/release-notes

@cgevent

Довольно давно художники начали использовать смартфон для записи движения камеры внутри 3D-сцен в Blender, как в этом ролике.

А сейчас все чаще вижу ту же механику, только для создания AI-роликов.

Смотрится офигенно, реалистично, и главное – вам в случае с ИИ не нужно даже заморачиваться с созданием и детализацией блочной сцены, и уж тем более не надо ее моделить для финального результата.

Просто просите агента:

– подключиться в Блендер, собрать простую сцену (даже, например, с анимированными персонажами)

– достаете смартфон, просите того же агента подключить смартфон к блендер-сцене, чтобы можно было видеть ее на экране, и быть, как бы, внутри этой сцены

– снимаете видео как вам нужно, с тряской, любым поведением

– отдаете эту блочную красоту любой классной видео-ту-видео модели, профит!

Ну, за аватаров.

Tavus показала Griffin - новый real-time AI-аватар, который уже выглядит не как очередная “говорящая фотография”, а как попытка генерировать целиком живого собеседника во время разговора.

Спойлер, про слепые тесты Туринга в конце.

Griffin получает вашу речь и видео, продолжает слушать и смотреть на вас даже в тот момент, когда отвечает сам, а параллельно генерирует голос, лицо, взгляд, мимику, жесты и весь кадр виртуального кожаного. То есть он умеет не только синхронно шевелить губами, но и кивнуть во время вашей фразы, отвести взгляд, отреагировать выражением лица, вставить короткую реплику или остановиться, когда его перебили.

Причём это, внимание, real-time генерация, а не заранее сделанный ролик.

Видеочасть Griffin-Lite работает в 720p при 25 fps. Модель генерирует видео кусками по 320 ms: один latent = 8 кадров. На каждый такой кусок приходится всего 3 diffusion steps, после чего он сразу декодируется и отправляется зрителю на том конце. Средняя задержка от входящего аудио до соответствующей реакции в видео в тестах Tavus составляет 0.43 секунды на NVIDIA H100.

Но здесь важная оговорка: из этого не следует, что весь Griffin “работает с latency 430 ms”. В полном разговорном тесте NVIDIA медианная реакция Griffin была около 1.9-2.2 секунды в зависимости от задачи. 0.43 секунды - именно latency видеогенератора после поступления управляющего аудиосигнала.

По железу Tavus раскрывает только часть картины. Именно тест видеогенератора проводился на H100. В credits компания отдельно благодарит Baseten, Daily и Cerebrium за инфраструктуру research preview, но сколько GPU требуется на одну сессию и на каких именно конфигурациях работает весь Griffin, Tavus пока не сообщает. Поэтому утверждать, что “один Griffin = один H100”, нельзя.

И попробовать всё это тоже, блин, пока нельзя.

Конкуренты.

Google неделю назад выпустила Gemini 3.8 Live with Live Avatar. Писал про это недавно. Это тоже настоящий потоковый аватар: Gemini одновременно получает аудио и изображение с камеры, ведёт native speech-to-speech диалог и генерирует синхронного аватара в 24 fps. Он видит камеру и screen sharing, поддерживает 97 языков и tool calling прямо во время разговора. Live Avatar уже доступен в Gemini Enterprise, хотя создание собственного аватара по фотографии пока требует allowlist.

Runway Characters идёт немного с другой стороны. Из одной картинки можно сделать real-time персонажа с голосом и характером, который разговаривает через WebRTC, может видеть webcam и screen share. В Runway уже можно попробовать это самому: веб-версия ограничивает разговор двумя минутами, API - пятью минутами, цена самого Characters сейчас составляет 2 кредита за 6 секунд, то есть около $0.20 за минуту. Причём Runway позволяет вообще принести свой STT + LLM + TTS, а Characters использовать только как real-time видеослой.

А Vidu S2-Avatar вообще уже продаётся как полноценная streaming-модель. Она принимает изображение персонажа и ведёт real-time голосовой диалог, поддерживает interruption, управление движениями, а во время разговора ей можно дать фотографию предмета, одежды или нового фона - персонаж может взять предмет, переодеться или изменить окружение прямо в потоке. У S2 есть публичный demo и API.

То есть сам факт “живого аватара в реальном времени” уже не мегафича. Google это делает, Runway это делает, Vidu это делает.

Интерес Griffin скорее в другом: Tavus пытается связать понимание разговора и генерацию невербального(!!!) поведения гораздо теснее. Видео здесь должно быть не просто визуализацией уже готового аудио. Разговорная модель отдельно управляет gesture, gaze, emotion и может менять их уже в следующем 320-ms куске видео.

Зато Tavus уже неистово хайпуют: “первая модель, прошедшая video Turing test”.

54 человека посадили на минутный видеозвонок. Им сказали, что сейчас их соединят с другим участником исследования. На самом деле напротив кожаных сидел Griffin-Lite, который в реальном времени генерировал лицо, голос и ответы.

После звонка 26 из 54 человек - 48% - сказали, что разговаривали с настоящим человеком. Для предыдущей версии Tavus результат был 1 из 41.

Вот эти 48% Tavus и называет прохождением video Turing test. Штош.

Строго говоря, никакого общепринятого стандарта “video Turing test” не существует, а эксперимент был крохотным и ещё немного подталкивал кожаных в нужную сторону: им изначально сказали, что они встретятся с другим человеком, а вопрос про ИИ появился только после разговора.

Но результаты всё равно нарядные.

Почти половина кожаных в условно слепом тесте просто не заметила, что напротив них вообще нет кожаного.

И, наверное, именно поэтому Tavus пока не даёт Griffin всем желающим. Представляю, какое количество мошеннических схем можно замутить с таким видосом.

Но вы мысленно готовьтесь жить в новом мире. Где вообще никому и ничему нельзя верить не то что на слово, а и на глаз.

https://www.tavus.io/

https://research.nvidia.com/labs/amri/projects/video-fdb/
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-8-live-with-live-avatar/
https://help.runwayml.com/hc/en-us/articles/49557780326163-Runway-Charactershttps://s.vidu.com/vidu-stream/

@cgevent