Pika Labs представляет AI инструмент для создания видео
Pika Labs анонсировала запуск AI инструмента Pika 1.0 для генерации видео.
Новый продукт сочетает передовые технологии ИИ и пользовательский интерфейс.
Функции включают преобразование текста в видео, изображений в видео и видео в видео.
Инструмент доступен на Discord и веб-платформах, как на мобильных, так и на настольных устройствах.
Pika Labs привлекла инвестиции на сумму $55 миллионов и получила одобрение в крипто сообществе.
Вступление в рынок создания видео с использованием генеративного ИИ может ознаменовать развитие рынка NFT.
Компания сталкивается с конкуренцией со стороны гигантов вроде Adobe и Meta, которые также вкладывают в AI-технологии для видео.
Генеративный ИИ в видеопроизводстве - игра с новыми правилами.
#PikaLabs #AI #VideoGeneration
Pika Labs анонсировала запуск AI инструмента Pika 1.0 для генерации видео.
Новый продукт сочетает передовые технологии ИИ и пользовательский интерфейс.
Функции включают преобразование текста в видео, изображений в видео и видео в видео.
Инструмент доступен на Discord и веб-платформах, как на мобильных, так и на настольных устройствах.
Pika Labs привлекла инвестиции на сумму $55 миллионов и получила одобрение в крипто сообществе.
Вступление в рынок создания видео с использованием генеративного ИИ может ознаменовать развитие рынка NFT.
Компания сталкивается с конкуренцией со стороны гигантов вроде Adobe и Meta, которые также вкладывают в AI-технологии для видео.
Генеративный ИИ в видеопроизводстве - игра с новыми правилами.
#PikaLabs #AI #VideoGeneration
Google Research презентовал VideoPoet - революция в генерации видео
VideoPoet от Google обещает революцию в создании видеоконтента.
Модель генерирует видео высокого качества, руководствуясь текстовыми подсказками.
Используется комбинация претренированных токенизаторов и ауторегрессивных моделей для предсказания видео и аудио.
Поддержка различных ориентаций и генерация аудио на основе видео входа.
Высокая степень сохранения идентичности объектов и временной согласованности в видео.
Возможность редактирования видео, включая танцы и различные движения.
Функция стилизации видео согласно текстовым указаниям.
Метод позволяет настраивать съемку, указывая тип кадрирования в подсказке.
Теперь создание видео может стать таким же простым, как написание текста.
#GoogleResearch #VideoPoet #VideoGeneration
VideoPoet от Google обещает революцию в создании видеоконтента.
Модель генерирует видео высокого качества, руководствуясь текстовыми подсказками.
Используется комбинация претренированных токенизаторов и ауторегрессивных моделей для предсказания видео и аудио.
Поддержка различных ориентаций и генерация аудио на основе видео входа.
Высокая степень сохранения идентичности объектов и временной согласованности в видео.
Возможность редактирования видео, включая танцы и различные движения.
Функция стилизации видео согласно текстовым указаниям.
Метод позволяет настраивать съемку, указывая тип кадрирования в подсказке.
Теперь создание видео может стать таким же простым, как написание текста.
#GoogleResearch #VideoPoet #VideoGeneration
👍2
Google представила модель Lumiere для создания видеоконтента
Lumiere создаёт реалистичные видео из текста или картинки с помощью архитектуры Space-Time U-Net.
Модель обеспечивает плавность и временнУю согласованность движения и переходов.
Масштабная обработка видео улучшает детализацию и качество и
позволяет анимировать изображения в выделенных областях.
За разработкой Lumiere стоит команда из Google и команды исследователей.
Выглядит симпатичнее чем Runway
Youtube промо
#Google #Lumiere #VideoGeneration
Lumiere создаёт реалистичные видео из текста или картинки с помощью архитектуры Space-Time U-Net.
Модель обеспечивает плавность и временнУю согласованность движения и переходов.
Масштабная обработка видео улучшает детализацию и качество и
позволяет анимировать изображения в выделенных областях.
За разработкой Lumiere стоит команда из Google и команды исследователей.
Выглядит симпатичнее чем Runway
Youtube промо
#Google #Lumiere #VideoGeneration
🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
VASA-1: Прорыв в генерации реалистичных видео с виртуальными персонажами
Исследователи из Microsoft Research Asia представили новый фреймворк VASA-1 для генерации реалистичных говорящих лиц виртуальных персонажей на основе одного статического изображения и аудиозаписи речи.
Ключевые особенности VASA-1:
- Точная синхронизация движений губ с аудио
- Реалистичная мимика лица, отражающая широкий спектр эмоций и нюансов
- Естественные движения головы
- Генерация видео высокого качества (512x512) в режиме реального времени (до 40 кадров/с) с минимальной задержкой
Основные инновации включают целостную модель генерации динамики лица и движений головы в скрытом пространстве, а также разработку такого выразительного скрытого пространства с помощью обучения на видео.
Метод значительно превосходит предыдущие подходы по различным показателям и позволяет управлять направлением взгляда, расстоянием до головы и эмоциональной окраской.
VASA-1 демонстрирует хорошую работу на данных, выходящих за рамки обучающей выборки (художественные фото, пение, речь на других языках).
Разделение скрытого представления на внешность, 3D позу головы и динамику лица дает возможность раздельно редактировать эти атрибуты в сгенерированном видео.
#VASA1 #VirtualAvatars #VideoGeneration
Исследователи из Microsoft Research Asia представили новый фреймворк VASA-1 для генерации реалистичных говорящих лиц виртуальных персонажей на основе одного статического изображения и аудиозаписи речи.
Ключевые особенности VASA-1:
- Точная синхронизация движений губ с аудио
- Реалистичная мимика лица, отражающая широкий спектр эмоций и нюансов
- Естественные движения головы
- Генерация видео высокого качества (512x512) в режиме реального времени (до 40 кадров/с) с минимальной задержкой
Основные инновации включают целостную модель генерации динамики лица и движений головы в скрытом пространстве, а также разработку такого выразительного скрытого пространства с помощью обучения на видео.
Метод значительно превосходит предыдущие подходы по различным показателям и позволяет управлять направлением взгляда, расстоянием до головы и эмоциональной окраской.
VASA-1 демонстрирует хорошую работу на данных, выходящих за рамки обучающей выборки (художественные фото, пение, речь на других языках).
Разделение скрытого представления на внешность, 3D позу головы и динамику лица дает возможность раздельно редактировать эти атрибуты в сгенерированном видео.
#VASA1 #VirtualAvatars #VideoGeneration
🔥3❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Open-Sora-Plan: обновление в генерации видео ИИ
Команда PKU-YuanGroup представила версию 1.3.0 проекта Open-Sora-Plan, для на генерации видео.
Ключевые улучшения включают WFVAE для эффективной обработки видео, Prompt Refiner для оптимизации запросов и Skiparse Attention для ускорения обучения.
Внедрена стратегия очистки данных, оставившая 27% исходного набора Panda70m, что повысило качество генерации.
Реализовано динамическое разрешение и длительность видео.
Модель обучена на 4-секундных роликах 720p и поддерживает генерацию как из текста, так и из изображений.
Планируется масштабирование до 10-15B и даже 30B параметров, улучшение понимания физических законов и добавление способностей обобщения.
#OpenSora #VideoGeneration #Китай
-------
@tsingular
Команда PKU-YuanGroup представила версию 1.3.0 проекта Open-Sora-Plan, для на генерации видео.
Ключевые улучшения включают WFVAE для эффективной обработки видео, Prompt Refiner для оптимизации запросов и Skiparse Attention для ускорения обучения.
Внедрена стратегия очистки данных, оставившая 27% исходного набора Panda70m, что повысило качество генерации.
Реализовано динамическое разрешение и длительность видео.
Модель обучена на 4-секундных роликах 720p и поддерживает генерацию как из текста, так и из изображений.
Планируется масштабирование до 10-15B и даже 30B параметров, улучшение понимания физических законов и добавление способностей обобщения.
#OpenSora #VideoGeneration #Китай
-------
@tsingular
🔥6
This media is not supported in your browser
VIEW IN TELEGRAM
CogVideoX1.5: революция в генерации видео
THUDM выпустила обновлённую версию генеративной модели для создания видеоконтента из текста и изображений.
Улучшенная версия CogVideoX1.5-5B-SAT поддерживает формирование 10-секундных роликов с высоким разрешением.
Инструмент включает модули Text-to-Video и Image-to-Video с гибкими настройками параметров.
Оригинальные веса требуют 66+ видеопамяти, но умельцы уже нарезали пайплайны под ComfyUI и даже собрали что-то под 10 гигабайт.
5 минут на локальную генерацию вот примерно такого качества, но в документации пишут, что можно "вообще любое разрешение", причём не исходное, а именно в финальном видео!
В общем, Китай всех делает.
Думал брать подписку на какой-нибудь Минимакс, но уже, похоже не нужно.
В заставке - результат локальной генерации из статической картинки.
UPD: оказывается это под 1.1 старую модель был процесс. Новую ещё ждём.
GitHub
ComfyUI-CogVideoXWrapper
#CogVideo #THUDM #videoGeneration #Китай
———
@tsingular
THUDM выпустила обновлённую версию генеративной модели для создания видеоконтента из текста и изображений.
Улучшенная версия CogVideoX1.5-5B-SAT поддерживает формирование 10-секундных роликов с высоким разрешением.
Инструмент включает модули Text-to-Video и Image-to-Video с гибкими настройками параметров.
Оригинальные веса требуют 66+ видеопамяти, но умельцы уже нарезали пайплайны под ComfyUI и даже собрали что-то под 10 гигабайт.
5 минут на локальную генерацию вот примерно такого качества, но в документации пишут, что можно "вообще любое разрешение", причём не исходное, а именно в финальном видео!
В общем, Китай всех делает.
Думал брать подписку на какой-нибудь Минимакс, но уже, похоже не нужно.
В заставке - результат локальной генерации из статической картинки.
UPD: оказывается это под 1.1 старую модель был процесс. Новую ещё ждём.
GitHub
ComfyUI-CogVideoXWrapper
#CogVideo #THUDM #videoGeneration #Китай
———
@tsingular
⚡4❤1
Media is too big
VIEW IN TELEGRAM
🎬 Hailuo S2V-01: Прорыв в генерации видео с постоянной идентичностью персонажей
Команда Hailuo представила новую модель S2V-01 — технологию, решающую ключевую проблему AI-генерации видео: сохранение стабильных черт лица персонажа при смене ракурсов и движении.
Ключевые особенности:
• Генерация полноценного видео по одному изображению
• Стабильное сохранение идентичности персонажа во всех кадрах
• Управление позами, мимикой и освещением через текстовые промпты
Текущие ограничения: возможны отклонения от промптов и изменения окружения. В разработке — поддержка множественных персонажей, объектов и сложных сцен.
Технология демонстрирует значительный прогресс в области AI-видео, превосходя даже fine-tuned модели по стабильности результатов.
#Hailuo #VideoGeneration #нейрорендер
———
@tsingular
Команда Hailuo представила новую модель S2V-01 — технологию, решающую ключевую проблему AI-генерации видео: сохранение стабильных черт лица персонажа при смене ракурсов и движении.
Ключевые особенности:
• Генерация полноценного видео по одному изображению
• Стабильное сохранение идентичности персонажа во всех кадрах
• Управление позами, мимикой и освещением через текстовые промпты
Текущие ограничения: возможны отклонения от промптов и изменения окружения. В разработке — поддержка множественных персонажей, объектов и сложных сцен.
Технология демонстрирует значительный прогресс в области AI-видео, превосходя даже fine-tuned модели по стабильности результатов.
#Hailuo #VideoGeneration #нейрорендер
———
@tsingular
1🔥11❤1👍1🤯1🆒1
Forwarded from Анализ данных (Data analysis)
🚀 LTX-Video 13B — один из самых мощных open-source видеогенераторов.
Разработчики внедрили в модель мультимасштабный рендеринг.
✅ Обычные генеративные модели видео рендерят всё изображение целиком, одним разрешением.
Когда в сцене много движущихся объектов или деталей, модель может "размазать" их, потерять чёткость или неправильно совместить фон и передний план.
📝 А мультимасштабный рендеринг — это параллельная отрисовка картинки на разных уровнях детализации:
один поток отвечает за фон (низкая детализация, большой масштаб),
другой — за объекты в центре, движущиеся элементы (высокая детализация, малый масштаб).
Потом всё объединяется в один кадр, как слои в Photoshop.
🎯 Зачем это нужно?
Фон остаётся стабильным, не "дергается"
Движущиеся объекты остаются чёткими и отдельными от фона
Картинка в целом не разваливается (нет смешивания движений, артефактов)
Такой подход помогает удерживать высокое качество картинки даже при сложном движении — например, если в кадре бежит персонаж на фоне движущегося города.
👉 По сути, это умное раздельное внимание к разным частям кадра, чтобы не терять детали ни в статике, ни в движении.
Что нового?
– Модель 13 миллиардов параметров
– Multiscale rendering → больше деталей, чётче текстуры
– Лучше понимает движение и сцену
– Запускается локально на GPU
– Поддержка keyframes, движения камеры/персонажей, мультисценных секвенций
Запускается даже на RTX 4090.
#AI #videoAI #ltxvideo #deeplearning #generativeAI #opensource #videogeneration
▪Попробовать можно тут→ https://app.ltx.studio/ltx-video
▪Code → https://github.com/Lightricks/LTX-Video
▪Weights → https://huggingface.co/Lightricks/LTX-Video
Разработчики внедрили в модель мультимасштабный рендеринг.
✅ Обычные генеративные модели видео рендерят всё изображение целиком, одним разрешением.
Когда в сцене много движущихся объектов или деталей, модель может "размазать" их, потерять чёткость или неправильно совместить фон и передний план.
📝 А мультимасштабный рендеринг — это параллельная отрисовка картинки на разных уровнях детализации:
один поток отвечает за фон (низкая детализация, большой масштаб),
другой — за объекты в центре, движущиеся элементы (высокая детализация, малый масштаб).
Потом всё объединяется в один кадр, как слои в Photoshop.
🎯 Зачем это нужно?
Фон остаётся стабильным, не "дергается"
Движущиеся объекты остаются чёткими и отдельными от фона
Картинка в целом не разваливается (нет смешивания движений, артефактов)
Такой подход помогает удерживать высокое качество картинки даже при сложном движении — например, если в кадре бежит персонаж на фоне движущегося города.
👉 По сути, это умное раздельное внимание к разным частям кадра, чтобы не терять детали ни в статике, ни в движении.
Что нового?
– Модель 13 миллиардов параметров
– Multiscale rendering → больше деталей, чётче текстуры
– Лучше понимает движение и сцену
– Запускается локально на GPU
– Поддержка keyframes, движения камеры/персонажей, мультисценных секвенций
Запускается даже на RTX 4090.
#AI #videoAI #ltxvideo #deeplearning #generativeAI #opensource #videogeneration
▪Попробовать можно тут→ https://app.ltx.studio/ltx-video
▪Code → https://github.com/Lightricks/LTX-Video
▪Weights → https://huggingface.co/Lightricks/LTX-Video
👍9⚡4🔥1
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Что умеет Wan2.1-VACE:
💡 Эти возможности можно свободно комбинировать, выполняя сложные креативные задачи.
🔍 Ключевые особенности:
▪ SOTA-производительность: Wan2.1 стабильно превосходит существующие open-source модели и даже коммерческие решения уровня state-of-the-art в ряде бенчмарков.
▪ Работает на обычных видеокартах: Модель T2V-1.3B требует всего 8.19 ГБ видеопамяти, что делает её совместимой почти со всеми пользовательскими GPU. Например, на RTX 4090 она генерирует 5-секундное видео 480P примерно за 4 минуты (без оптимизаций, таких как квантизация). Её производительность сопоставима с некоторыми закрытыми моделями.
▪ Мультизадачность: Wan2.1 демонстрирует хорошие результаты в задачах текст-в-видео, изображение-в-видео, видеомонтаж, текст-в-изображение и видео-в-аудио, продвигая границы генерации видео..
▪ Модель способна выдавать 1080P в теории любой длины, при этом сохраняя временную структуру.
- Размер модели: 1.3B и 14B
- Лицензия: Apache-2.
@ai_machinelearning_big_data
#Alibaba #wan #videogeneration
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6
Veo 3 теперь доступен через Gemini API
Google запустил Veo 3 через API — первую модель с высококачественным видео и встроенным аудио. Создает кинематографические ролики с диалогами и звуковыми эффектами.
Разработчики уже экспериментируют: от анимации персонажей до повествовательных сцен. Доступен в Google AI Studio с готовыми шаблонами для быстрого прототипирования.
Цена — $0.75 за секунду видео с аудио. Скоро появится Veo 3 Fast — более быстрая и дешевая версия. Все видео помечаются цифровой водяной меткой SynthID для идентификации ИИ-контента.
#Veo3 #VideoGeneration #GeminiAPI
------
@tsingular
Google запустил Veo 3 через API — первую модель с высококачественным видео и встроенным аудио. Создает кинематографические ролики с диалогами и звуковыми эффектами.
Разработчики уже экспериментируют: от анимации персонажей до повествовательных сцен. Доступен в Google AI Studio с готовыми шаблонами для быстрого прототипирования.
Цена — $0.75 за секунду видео с аудио. Скоро появится Veo 3 Fast — более быстрая и дешевая версия. Все видео помечаются цифровой водяной меткой SynthID для идентификации ИИ-контента.
#Veo3 #VideoGeneration #GeminiAPI
------
@tsingular
✍1
This media is not supported in your browser
VIEW IN TELEGRAM
LTX-2.5 пайплайн генерации с Гермесом
⚡️ В общем вчера Lightricks выкатили LTX-2.5 — модель генерации видео по тексту и изображению и я решил попробовать его на своём М5, настроив его с помощью с Гермеса.
📦 В порядке эксперимента собрали пайплайн последовательной генерации (исходник в комментарии): chain_i2v.py берёт исходное изображение (генерация в OpenAI (gpt-image-2)) и три промпта, каждый из которых описывает происходящее в 3х секундном сегменте, после каждого сегмента ffmpeg вырезает последний кадр, он становится входом для следующего, и так по цепочке. На выходе - склеенное видео.
Делали без звука, потому, что очевидно он рассыпется и будет разным в каждом кусочке. т.е. звук надо отдельно генерить и сверху накладывать.
скажем слой музыки, слой сфх и слой голоса, если нужно.
На Apple Silicon работает через MPS, один сегмент в 3 секунды (73 кадра) генерируется за 3–3,5 минуты на M5 Max.
🖼 Для демки взяли портрет киберпанк-Гермеса — хромированная маска, голографические крылья, кадуцей с цифровыми змеями.
Прописали три сцены: наплыв на лицо с пульсацией крыльев, затем змеи сползают по жезлу в синих искрах, и камера отъезжает, открывая панораму с античными колоннами и кибер-Афинами. Суммарно 9,12 секунд из одного исходника.
Получилось, конечно, забавно - что из кадра пропало, - назад уже не вернуть :)
как-будто нужно полный комплект артефактов сначала вырезать в папочку с артефактами, а потом на каждую генерацию их обратно подставлять чтобы не рассыпалось.
Зато локально и бесплатно :)
#LTX #I2V #videoGeneration #нейрорендер
------
@tsingular
⚡️ В общем вчера Lightricks выкатили LTX-2.5 — модель генерации видео по тексту и изображению и я решил попробовать его на своём М5, настроив его с помощью с Гермеса.
📦 В порядке эксперимента собрали пайплайн последовательной генерации (исходник в комментарии): chain_i2v.py берёт исходное изображение (генерация в OpenAI (gpt-image-2)) и три промпта, каждый из которых описывает происходящее в 3х секундном сегменте, после каждого сегмента ffmpeg вырезает последний кадр, он становится входом для следующего, и так по цепочке. На выходе - склеенное видео.
Делали без звука, потому, что очевидно он рассыпется и будет разным в каждом кусочке. т.е. звук надо отдельно генерить и сверху накладывать.
скажем слой музыки, слой сфх и слой голоса, если нужно.
На Apple Silicon работает через MPS, один сегмент в 3 секунды (73 кадра) генерируется за 3–3,5 минуты на M5 Max.
🖼 Для демки взяли портрет киберпанк-Гермеса — хромированная маска, голографические крылья, кадуцей с цифровыми змеями.
Прописали три сцены: наплыв на лицо с пульсацией крыльев, затем змеи сползают по жезлу в синих искрах, и камера отъезжает, открывая панораму с античными колоннами и кибер-Афинами. Суммарно 9,12 секунд из одного исходника.
Получилось, конечно, забавно - что из кадра пропало, - назад уже не вернуть :)
как-будто нужно полный комплект артефактов сначала вырезать в папочку с артефактами, а потом на каждую генерацию их обратно подставлять чтобы не рассыпалось.
Зато локально и бесплатно :)
#LTX #I2V #videoGeneration #нейрорендер
------
@tsingular
👍10✍6⚡2