Хейген жбакнули **HeyGen Video** - собственную(?) видеомодель

Кажется, у нас новая стадия рынка AI-видео.

Раньше сервисы в основном делали просто: собирали у себя Kling, Veo, Seedance, MiniMax и ещё десяток моделей, прикручивали красивый интерфейс и называли это платформой.

Теперь, после выхода open weights MiniMax H3, началась следующая фаза:

берём чужую открытую foundation-модель -> дотренировываем -> подкручиваем под свою специализацию -> объявляем собственной моделью.

HeyGen прямо пишет: модель built on MiniMax H3 и отдельно post-trained в застенках HeyGen.

HeyGen как бы доучила модель под свои задачи: consistency, следование prompt, работу с продуктами и референсами, синхронный звук и более предсказуемый коммерческий видеопродакшен.

HeyGen Video умеет:

- text-to-video
- image-to-video
- reference-to-video
- сразу генерировать видео со звуком
- принимать до 9 картинок, 3 видео и 3 аудиофайлов как референсы
- обращаться к ним прямо внутри prompt
- работать в форматах от 21:9 до 9:16
- выдавать 480p и 768p
- делать ролики длиной 5-15 секунд

Главный акцент - не на слопе, а на контроле и стабильности.

И теперь самое развесёлое - цена.

До конца октября:

- 480p T2V/I2V - $0.01/с
- 768p - $0.015/с
- Ref2V 768p - $0.03/с

То есть 10 секунд 768p стоят $0.15. Чо?

Но.

После промо будет $0.30.

Для сравнения - в АПИ MiniMax Н3 сейчас отдают примерно по $0.08/с в 768p.

То есть HeyGen взяла H3, дотренировала её и продаёт производную модель заметно дешевле оригинального API MiniMax.

Ну в общем мне нравицца..

HeyGen ещё и заявляет, что на собственном blind eval их версия обошла Seedance 2.0, H3 Max и Kling 3.0. И И мы такие да, конешно!

Но сам тренд уже интереснее конкретного рейтинга.

Open weights наконец начинают работать примерно так, как и должны были: не только "скачал и запустил", а взял основу и сделал из неё собственный продукт.

Ждем Хейгена на Civitai со своим чекпойнтом...

Где щупать: HeyGen API, OpenRouter, Runware и ComfyUI(апи нодес). В собственном веб-интерфейсе HeyGen модель пока только coming soon.

Ссылки:

https://help.heygen.com/en/articles/17272995-introducing-heygen-video-generate-cinematic-clips-from-a-prompt

https://developers.heygen.com/heygen-video-1.0-catalog

https://developers.heygen.com/docs/models/heygen-video

@cgevent

Хъген Въдео на Българском

Умеет в славяницу

@cgevent

Все переобуваюццо в робатов.

Black Forest Labs выпускает FLUX Action, теперь Runway представляет Praxis-1. Обе идеи примерно об одном: модель смотрит на мир, предсказывает, что произойдёт дальше, и на основании этого управляет физическим робатом.

И логика этого массового помешательства вполне понятна.

Если видеомодель научилась хорошо предсказывать следующий кадр, значит, внутри неё уже есть какое-то представление о том, как устроен физический мир.

Video Model -> World Model -> Action Model -> Robat.

Ну и самое главное - у робатов все бабки. Об этом в след посте.

Praxis-1 обещают сделать open-weight, но сами веса пока придержали - обещают “в ближайшие месяцы”.

Но нам-то что с этого?!

Флюкс, где веса?

Рунвей, перестань делать биржы слоперов и обучалки для робатов, давай новую видео-модель!

В Метаверсе тоже по ходу одни робаты будут, что там людям делать...

https://runway.com/research/introducing-praxis-1

@cgevent

AMD покупает World Labs за $8.2 млрд.

Вопрос: зачем производителю чипов платить такие деньги за компанию, которая делает 3D-миры и world models?

Накидаю гипотез для чего это безумие.

1. Получить собственную frontier AI-лабораторию.

Чтобы не читать чужие papers и через год судорожно оптимизировать под них ROCm.

2. Проектировать GPU под будущие модели, а не под транформеры.

Новая архитектура модели -> новые требования к памяти и вычислениям -> новое железо.

3. Зайти в world models раньше, чем туда окончательно зайдёт весь рынок.

3D, видео, симуляция, физические пространства - всё это потенциально следующий гигантский пожиратор GPU.

4. Пролезть в робототехнику.

Synthetic data, simulation, обучение агентов и роботов - ещё один рынок, где NVIDIA уже давно расставила капканы.

5. Собрать свой ответ на Omniverse + Isaac.

Омниверс как-то не залетел в графику, но залетел в робатов. Еще одна причина по которой Флюкс и Рунвей переобуваются и держат хвост по ветру.

6. Перестать продавать просто ускорители.

AMD собирает полный стек:

модели -> software -> GPU -> racks -> data center.

То есть хочет продавать не железку, а всю инфраструктуру вокруг неё. Ох поздно!

7. Получить Фэй-Фэй Ли и её команду.

Вместе с World Labs AMD получает не только технологии, но и research-команду, способную влиять на то, какие workloads вообще появятся завтра.

Последнее, пожалуй, самое очевидное. В остальном я просто не понимаю, чем они заменят Cuda.

@cgevent

Признайтесь: сколько у вас сейчас открыто вкладок?

Я как-то поймал себя на том, что на один ролик уходит полтора часа, из которых собственно творчества — минут десять. Всё остальное: сгенерил текст тут, перетащил в другую вкладку, оттуда картинку скачал, залил в третью, озвучку добавил в четвёртой. Устал, закрыл ноут.

А на следующий день всё сначала. Потому что процесс нигде не записан — он был только у меня в голове, и то до вечера.

Самое обидное не в потраченном времени. Обидно, когда получилось реально круто, а повторить не можешь: не помнишь точную последовательность, настройки, какие модели брал.

Собственно, за этим и нужен Workflow в GPTunneL. Собираешь цепочку один раз — и она живёт: меняешь вход, получаешь новый результат по той же логике. Всё внутри одного сервиса, ничего между вкладками таскать не надо.

Удачный результат перестаёт быть удачей и становится процессом. Для бизнеса это 200 карточек или 50 роликов в едином стиле. Для творческих — десять вариантов сцены за то время, которое раньше уходило на один.

Полтора часа превращаются в пару минут. Я проверял 👈

💰 Если решите потестить — пополняйтесь по промокоду METAAI, он удваивает сумму первого пополнения. На эксперименты хватит с запасом.

Телеграм канал GPTunneL с идеями для контента

#промо

Вот думаю заказать себе такую клавиатуру, потому что использую правый Alt для надиктовки с помощью ChatGPT в любом месте Windows и Enter вместо Yes.

Думаю, что ноутбуки окончательно выродятся в планшеты. Зачем им клавиатура для вайб нормисов?

@cgevent

Вот и четверг подошел к концу.

Все посты бахнуты.

Сижу, читаю комменты, какой же срач вы там устроили.

Ладно, ставлю прожарку и пойду, пожалуй, есть Наполеон.

Смотрите Одиссея.

@cgevent

#Нейропрожарка

Одиссей. Легенды Школы Сколково

Автор: Тимофей Ступин

@lamiserest / https://youtube.com/@lamiserest_comm?si=7vkoKku9mthl4skG

Ролик (изначально подразумевалась целая серия) для Школы управления СКОЛКОВО. Был сделан ещё зимой (и Нолан тут не причём). Основная идея: спрятать в известной всем легенде эпизод с их обучением на управленца, точно перенести архитектуру кампуса школы
Я использовал Nano Banana pro и Kling 3.0. Некоторые элементы типографики были сделаны в GPT image, у него лучше всех получается сохранить шрифт и текстуру референса. Значительная часть кадров генерилась для последующего трекинга и наложения 3D текста поверх(всё в AE). В середине ролика была использована коллажная техника в AE, но все исходники - NB + Kling. Неделя на генерацию, неделя на сборку. Бюджет: может быть, 4.000 р. с учетом большого количества вырезанных сцен (40 секунд хрона).

@cgevent

#Сеня_и_Даня_Здесь_Были

Помним за что это вам...

Для контекста.

OpenAI безжалостно уволила трех сотрудников после внутреннего расследования.

Официальная формулировка: они обращались с конфиденциальной информацией вне установленных протоколов и нарушили внутренние правила.

Но.

Все трое работали именно в Safety / Alignment и в последние недели публично рассказывали, какие ужасы может принести дальнейшее ускорение гонки ИИ.

А теперь выясняется, что часть внутренней информации они сливали внешней организации, занимающейся оценкой безопасности ИИ.

То есть люди, которые должны были следить за безопасностью внутри, решили, что безопаснее будет стучать наружу.

Без работы теперь.

А тем временем Даня: Broadcom готов предоставить Anthropic до $42 млрд финансирования под аренду вычислительной инфраструктуры. Как тебе такое, Сеня?

Одни приподистерят, не убьет ли нас AGI.

Другие возают еще $42 млрд на GPU и TPU.

@cgevent

Офигенный новый пост от Андрея Карпатого. Грех его не разобрать.

Потому что, наверное, многих из вас немножко приподдостала многословность, по крайней мере SOL 5.6, и необходимость просить его сокращать и вообще выдавать ему разные инструкции.

А тут сразу о том, как сразу получать хорошо и не только текстом, а "мультимедийно".

Пойду ваять системный промпт.

Дисклаймер: это не для написания литературных текстов и креативов. Это для объясняторов и помогаторов.

Смысл поста не в ASD-STE100 (см ниже). Он предлагает гораздо более интересную идею: перестать воспринимать текст как основной формат ответа LLM.

Его иерархия:

текст -> схема -> интерактивная HTML-страница -> персональное объясняющее видео.

И чем сильнее становятся модели, тем чаще кожаный будет не сам “делать работу”, а проверять, понимать и направлять результат. Поэтому формат, в котором модель объясняет свою работу человеку, становится почти так же важен, как качество самой работы.

Что такое ASD-STE100

Андрюша пишет, что просто попросите: “Explain this in ASD-STE100”

ASD-STE100 Simplified Technical English - реальный стандарт контролируемого английского языка. Его начали разрабатывать для авиационной технической документации, чтобы инструкции одинаково хорошо понимали специалисты с разным уровнем английского.

Там довольно жесткие механические правила:

- словарь примерно из 900(шта?) разрешенных общеупотребительных слов плюс специализированная техническая терминология;
- по возможности один термин -> одно значение;
- вместо цепочки синонимов выбирается одно слово, например start, а не begin / commence / initiate;
- максимум 20 слов в процедурном предложении и 25 в описательном;
- максимум 3 слова в noun cluster;
- в процедурных инструкциях используется active voice;
- ограничен набор допустимых форм глагола;
- один шаг или инструкция должны быть сформулированы максимально однозначно.

Можно смягчать, чтобы не разговаривать с робатом:

“80% of the way to ASD-STE100”

Идем дальше. Мультимедия: diagrams -> HTML -> video

Здесь Андрюша фактически описывает переход от LLM как генератора текста к LLM как генератору интерфейса объяснятора.

Например, вместо ответа на 3000 слов модель может сама решить, что конкретную тему лучше показать через:

* интерактивный(!) график
+ slider
+ несколько переключателей
+ анимацию
+ короткие пояснения

И сгенерировать для этого одноразовую HTML-страницу.

Раньше писать специальное приложение, чтобы объяснить кожаным один вопрос, было абсурдно дорого. Теперь его можно дажененавайбкодить, а просто попросить за минуту и выбросить после одного использования.

Это он называет “large, custom, discardable software artifacts”.

Мне кажется, это центральная мысль поста.

Короче:

> “Объясни мне трансформеры”

> Апажалуйста! На тебе одноразовый интерактивный учебник именно для тебя, после прочтения можешь выбросить. Следующий будет новее и лучше.

На итоге: Сам ответ может быть не текстом, как мы привыкли, а приложением, симуляцией, схемой или видео.

Остается одна проблема. Кожаный должен во все это вникнуть и понять. А кожаный ленив и туп. Никакой разжеватор не поможет. Поэтому остается вопрос: а может вы за меня и понимать будете?

ПС. Русский вариант в след посте.

@cgevent

Объяснятор по Госту

После написания предыдущего поста мне, конечно, стало интересно, как это всё адаптировать под наши нужды, под русский язык. И да, действительно, нашлась замена для английского стандарт.

Самый близкий прямой аналог для русского языка существует и называется УТР - упрощенный технический русский язык.

Он закреплен в ГОСТ Р 58049-2017 “Перевод эксплуатационной документации на изделия авиационной техники с/на иностранные языки”. Более того, сам ГОСТ прямо ссылается на Simplified Technical English и формулирует УТР как контролируемый технический язык с той же основной задачей - сделать текст однозначным, простым для восприятия и удобным для перевода.

Среди правил УТР:
- простой и однозначный текст;
- прямой порядок слов;
- преимущественно действительный залог;
- для инструкций - повелительное наклонение: “Установите крышку”, а не “Крышка должна быть установлена”;
- один термин для одного понятия - не прыгать между синонимами;
- запрет метафор, жаргона и образных сравнений;
- предпочтение коротких и простых терминов;
- не рекомендуется ставить подряд три и более существительных;
- сложные перечисления лучше оформлять вертикальными списками. Tdocs

Поэтому для ИИ можно бахнуть такой промпт:

Объясни это на русском языке по принципам УТР
(упрощенного технического русского языка, ГОСТ Р 58049-2017).
Используй прямой порядок слов, короткие предложения,
действительный залог и единообразную терминологию.
Одна мысль - одно предложение.
Не используй канцеляризмы, метафоры и лишние синонимы.
Не упрощай технический смысл.

Или, по аналогии с Карпатым, покороче:

Напиши примерно на 80% в стиле УТР по ГОСТ Р 58049-2017:
ясно, коротко и однозначно, но без чрезмерно формального языка.

@cgevent

Suno бахнуло Speech

Олды вспомнили про Bark

Теперь оно генерирует не только пестни, но и обычную речь сразу с фоновой музыкой.

Как:

- Пишете текст или просто описываете идею.
- Задаёте, каким должен быть голос.
- Описываете музыкальный стиль.
- Suno генерирует речь и оригинальную подложку вместе, одним треком.

Вот это вот все для озвучки видео, историй, медитаций, рекламных роликов, подкастовых вставок, voice-over, игровых сцен и прочего spoken content.

По цене пока всё просто: отдельного тарифа Speech нет. Beta доступна всем пользователям Suno.

Сколько конкретно credits съедает одна генерация Speech - непонятки.

Зачем это всё?

Suno постепенно перестаёт быть просто генератором треков и превращается в генератор готового аудиоконтента.

Музыка остаётся ядром, но теперь вокруг неё появляются речь, narration и потенциально другие виды аудио. Это уже прямой заход на территорию TTS, подкастов, аудиокниг, рекламы и озвучки видео.

И главный продуктовый ход здесь не в том, что Suno научилась говорить. Хороший TTS давно существует у всех.

Ход в другом: голос и саундтрек создаются как одна сцена, без отдельной генерации музыки и последующего сведения. И можно подавать на вход не текст для озвучки, а просто идею. Или тот бред, который у вас в голове, и он создаст для этого умный текст и фоновую музыку для последующей медитации.

Мета-озвучка идей с музикой.

Можно ли получить голос без музыки? Вроде да. Можно отключить подложку, но надо тестировать.

Источники:

https://suno.com/blog/introducing-speech-beta

https://suno.com/release-notes

@cgevent