Forwarded from Machinelearning
FoleyCrafter - методика, разработанная для автоматического создания звуковых эффектов, синхронизированных с целевым видеорядом
Архитектура метода построена на основе предварительно обученной модели преобразования текста в аудио (Text2Audio). Система состоит из двух ключевых компонентов:
Оба компонента являются обучаемыми модулями, которые принимают видео в качестве входных данных для синтеза аудио. При этом модель Text2Audio остается фиксированной для сохранения ее способности к синтезу аудио постоянного качества.
Разработчики FoleyCrafter провели количественные и качественные эксперименты на наборах данных VGGSound и AVSync15 по метрикам семантического соответствия MKL, CLIP Score, FID и временной синхронизации Onset ACC, Onset AP.
По сравнению с существующими методами Text2Audio (SpecVQGAN, Diff-Foley и V2A-Mapper) FoleyCrafter показал лучшие результаты.
# Clone the Repository
git clone https://github.com/open-mmlab/foleycrafter.git
# Navigate to the Repository
cd projects/foleycrafter
# Create Virtual Environment with Conda & Install Dependencies
conda create env create -f requirements/environment.yaml
conda activate foleycrafter
# Install GiT LFS
conda install git-lfs
git lfs install
# Download checkpoints
git clone https://huggingface.co/auffusion/auffusion-full-no-adapter checkpoints/auffusion
git clone https://huggingface.co/ymzhang319/FoleyCrafter checkpoints/
# Run Gradio
python app.py --share
🔗 Лицензирование: Apache-2.0
🔗Страница проекта
🔗Arxiv
🔗Модели на HF
🔗Demo
🔗Github [ Stars: 272 | Issues: 4 | Forks: 15]
@ai_machinelearning_big_data
#AI #Text2Audio #FoleyCrafter #ML
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Data Provenance Initiative провела исследование, проанализировав 14 000 веб-доменов и обнаружив увеличение числа заблокированных токенов с 1 % до 7 % с апреля 2023 года по апрель 2024 года. Основными источниками таких ограничений являются новостные сайты, платформы социальных сетей и форумы, причем количество заблокированных токенов на новостных сайтах за год резко возросло с 3 до 45 %.
Специалисты видят риск в том, что дополнительные ограничения, предпринимаемые владельцами интернет-ресурсов в результате повлияет на качество и предвзятость будущих систем AI, которые будут вынуждены обучаться на манипулятивных данных.
the-decoder.com
Please open Telegram to view this post
VIEW IN TELEGRAM
THE DECODER
Study reveals rapid increase in web domains blocking AI models from training data
A new study reveals that AI models are increasingly losing access to their web-based training data. This growing trend of restrictions could force models to learn from less, more biased, and outdated information in the future.
Forwarded from эйай ньюз
Media is too big
VIEW IN TELEGRAM
SAM 2: Segment Anything in Images and Videos
Вышла вторая версия SAM - модели для сегментации изображений. Лучше оригинала по качеству, при это в шесть раз быстрее (130 FPS на одной A100)!
Главная новая фича - поддержка видео, для чего в архитектуру добавили темпоральные компоненты (memory attention, memory encoder, etc.).
Вместе с моделью релизят датасет SA-V в 50к размеченных видео с 600к масклетов (масок объекта на протяжении времени).
Веса релизнуты по лицензии Apache 2.0, то есть делать с моделью можно практически что угодно.
Демо
Пейпер
Репа (ссылки на веса там)
@ai_newz
Вышла вторая версия SAM - модели для сегментации изображений. Лучше оригинала по качеству, при это в шесть раз быстрее (130 FPS на одной A100)!
Главная новая фича - поддержка видео, для чего в архитектуру добавили темпоральные компоненты (memory attention, memory encoder, etc.).
Вместе с моделью релизят датасет SA-V в 50к размеченных видео с 600к масклетов (масок объекта на протяжении времени).
Веса релизнуты по лицензии Apache 2.0, то есть делать с моделью можно практически что угодно.
Демо
Пейпер
Репа (ссылки на веса там)
@ai_newz
Forwarded from эйай ньюз
Ядро команды состоит из авторов Stable Diffusion, которые покинули Stability-ai в марте. Как я и думал, они ушли и создали свою компанию!
Парни за эти несколько месяцев обучили text2image модель FLUX.1 на 12 B параметров! Которая на сегодня является SOTA моделью в открытом доступе! По предоставленным бенчам бьет даже MJ6!
Кажется, делали FLUX.1 по рецепту SD3, т.к. она имеет очень похожую архитектуру (DiT с двумя стримами - текст и картинка) и также основана на Flow Matching.
FLUX.1 вышла в 3 вариантах:
Доступна только через API:
- https://replicate.com/black-forest-labs
- https://fal.ai/models/fal-ai/
Веса (Non-Commercial License):
- https://huggingface.co/black-forest-labs/FLUX.1-dev
Веса (Apache 2.0 License):
- https://huggingface.co/black-forest-labs/FLUX.1-schnell
Репа с кодом
Блогпост
Следуюшим шагом парни хотят выпустить SOTA text2video в опенсорс.
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Start Career in DS
🚀 (1/2) Transformer в задачах НЕ текстовой модальности
В прошлом посте мы разбирали архитектуру Transformer в рамках работы с текстом. Сегодня поговорим про то, как Transformer может работать с другими модальностями.
📝О терминологии: мультимодальность - способность модели работать с несколькими модальностями одновременно: текст, аудио, видео, изображение.
🎨Изображение:
Трансформер изначально создавался для работы с текстом. Однако, в статье Vision Transformer (ViT) данная архитектура была успешно адаптирована к работе с изображениями.
Особенности: изображение разбивается на маленькие куски (патчи), которые затем обрабатываются как последовательность. Ключевой слой Self-Attention помогает модели учитывать отношения между различными патчами изображения.
Затем появились мультимодальные модели LLaVA и CLIP, способные принимать на вход изображение и текстовый промпт. Такой подход позволил моделям решать задачу image captioning (описание изображения) и классифицировать изображения без дообучения. Более подробно про это тут.
🎶Аудио:
Ключевой моделью на базе Transformer в работе с аудио является Whisper от OpenAI.
Особенности: аудиосигнал преобразуется в спектрограмму или векторные представления, которые затем обрабатываются трансформером. Self-Attention позволяет модели выделять важные фрагменты звука.
Модель решает задачи распознавания речи (ASR), анализа звуковых сигналов и преобразование аудио в текст (Speech to Text).
🎥Видео:
В работе с видео трансформеры строятся на архитектурах ViViT и TimeSFormer.
Особенности: видео разбивается на последовательности кадров, которые обрабатываются как патчи изображений с учетом времени. Self-Attention учитывает как пространственные, так и временные связи между кадрами.
Модели подобных архитектур могут решать задачи анализа и классификации видео и генерации описаний к ним.
📚Дополнительное чтиво:
- Статья на Хабре про первую настоящую мультимодальную модель gpt-4o
- Про ViT для новичков читайте тут
- Подробные обзоры про ViT-like архитектуры для более продвинутых
- Распознавание речи, генерация субтитров и изучение языков при помощи Whisper на Хабре для практиков
- Подробный разбор, про ViViT и TimeSFormer, чтобы въехать
- Gitbook про трансформеры для более продвинутых (много дополнительного материала и кода)
Ставьте лайки❤️ и огоньки🔥 для следующих крутых постов!
Пишите свои комментарии! До встречи👋🏻
В прошлом посте мы разбирали архитектуру Transformer в рамках работы с текстом. Сегодня поговорим про то, как Transformer может работать с другими модальностями.
📝О терминологии: мультимодальность - способность модели работать с несколькими модальностями одновременно: текст, аудио, видео, изображение.
🎨Изображение:
Трансформер изначально создавался для работы с текстом. Однако, в статье Vision Transformer (ViT) данная архитектура была успешно адаптирована к работе с изображениями.
Особенности: изображение разбивается на маленькие куски (патчи), которые затем обрабатываются как последовательность. Ключевой слой Self-Attention помогает модели учитывать отношения между различными патчами изображения.
Затем появились мультимодальные модели LLaVA и CLIP, способные принимать на вход изображение и текстовый промпт. Такой подход позволил моделям решать задачу image captioning (описание изображения) и классифицировать изображения без дообучения. Более подробно про это тут.
🎶Аудио:
Ключевой моделью на базе Transformer в работе с аудио является Whisper от OpenAI.
Особенности: аудиосигнал преобразуется в спектрограмму или векторные представления, которые затем обрабатываются трансформером. Self-Attention позволяет модели выделять важные фрагменты звука.
Модель решает задачи распознавания речи (ASR), анализа звуковых сигналов и преобразование аудио в текст (Speech to Text).
🎥Видео:
В работе с видео трансформеры строятся на архитектурах ViViT и TimeSFormer.
Особенности: видео разбивается на последовательности кадров, которые обрабатываются как патчи изображений с учетом времени. Self-Attention учитывает как пространственные, так и временные связи между кадрами.
Модели подобных архитектур могут решать задачи анализа и классификации видео и генерации описаний к ним.
📚Дополнительное чтиво:
- Статья на Хабре про первую настоящую мультимодальную модель gpt-4o
- Про ViT для новичков читайте тут
- Подробные обзоры про ViT-like архитектуры для более продвинутых
- Распознавание речи, генерация субтитров и изучение языков при помощи Whisper на Хабре для практиков
- Подробный разбор, про ViViT и TimeSFormer, чтобы въехать
- Gitbook про трансформеры для более продвинутых (много дополнительного материала и кода)
Ставьте лайки❤️ и огоньки🔥 для следующих крутых постов!
Пишите свои комментарии! До встречи👋🏻
Forwarded from Yandex for ML
В этот раз обсудим всё самое интересное с конференции International Conference on Machine Learning, которая прошла в июле в Вене. Поделимся самыми актуальными новостями и трендами, которые увидели на мероприятии.
Подписывайтесь:
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from эйай ньюз
А вот и первый IP-Adapter для FLUX.1 [dev] подъехал
IP-adapter - это штука, которая позволяет подавать в модель кроме текста еще и референсную картинку. По умолчанию Flux картинку на вход не принимает.
Подробнее про устройство IP-Adapter, и как он используется, например, в Midjourney я писал тут.
Тут используют openai/clip-vit-large в качестве энкодера изображений и подмешивают эти токены в модифицированный cross-attention.
Тренили его на 512x512 в течение 50k шагов и на 1024x1024 в течение 25k шагов. Во время инференса работает и в 512x512 и в 1024x1024.
Это только первая версия адаптера, поэтому может быть еще сыровата.
Веса на HF
Воркфлоу для Comfy UI
@ai_newz
IP-adapter - это штука, которая позволяет подавать в модель кроме текста еще и референсную картинку. По умолчанию Flux картинку на вход не принимает.
Подробнее про устройство IP-Adapter, и как он используется, например, в Midjourney я писал тут.
Тут используют openai/clip-vit-large в качестве энкодера изображений и подмешивают эти токены в модифицированный cross-attention.
Тренили его на 512x512 в течение 50k шагов и на 1024x1024 в течение 25k шагов. Во время инференса работает и в 512x512 и в 1024x1024.
Это только первая версия адаптера, поэтому может быть еще сыровата.
Веса на HF
Воркфлоу для Comfy UI
@ai_newz
Forwarded from УЛУЧШУ ВАШУ ЖИЗНЬ!💰 [SCAM]
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from УЛУЧШУ ВАШУ ЖИЗНЬ!💰 [SCAM]
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Институт AIRI
В новой статье на Хабре рассказываем про метод редактирования реальных изображений с помощью диффузионных моделей ⤵
Совсем недавно исследователи из группы «Контролируемый генеративный ИИ» лаборатории FusionBrain AIRI выложили препринт статьи, которую представят на конференции ECCV этой осенью. В нем предложен метод редактирования реальных изображений с помощью диффузионных моделей, который достигает лучшего среди всех методов компромисса между качеством редактирования и сохранением структуры исходного изображения.
📎 Делимся ссылкой на demo на Hugging Face, где вы можете протестировать метод на своих изображениях. Подробнее про исследование также можно прочитать в канале руководителя группы Айбека Аланова.
Научная статья | GitHub
Совсем недавно исследователи из группы «Контролируемый генеративный ИИ» лаборатории FusionBrain AIRI выложили препринт статьи, которую представят на конференции ECCV этой осенью. В нем предложен метод редактирования реальных изображений с помощью диффузионных моделей, который достигает лучшего среди всех методов компромисса между качеством редактирования и сохранением структуры исходного изображения.
Научная статья | GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM