Seed Audio 1.0
Аудиомодель от ByteDance. Генерирует за один проход целую звуковую сцену по одному промпту. Озвучка, подкасты, дубляж
• Можно жестко задавать тайминг реплик с точностью до 100 мс
• 20+ языков, перенос тембра между ними
• Клонирование голоса по референсам. До трёх аудиоклипов подключаются к промпту как @Audio1, @Audio2, @Audio3. Вместо аудио можно дать картинку с описанием персонажа.
Русский язык почти не тянет, промпт надо на английском. Лимит 2 минуты аудио, промпт до 3000 знаков. Цена ~$0.15–0.19/минута
Попробовать
Спасибо @QuantumFast
#t2a #text2audio #tts #voicecloning #voicedesign #online
Аудиомодель от ByteDance. Генерирует за один проход целую звуковую сцену по одному промпту. Озвучка, подкасты, дубляж
• Можно жестко задавать тайминг реплик с точностью до 100 мс
• 20+ языков, перенос тембра между ними
• Клонирование голоса по референсам. До трёх аудиоклипов подключаются к промпту как @Audio1, @Audio2, @Audio3. Вместо аудио можно дать картинку с описанием персонажа.
Русский язык почти не тянет, промпт надо на английском. Лимит 2 минуты аудио, промпт до 3000 знаков. Цена ~$0.15–0.19/минута
Попробовать
Спасибо @QuantumFast
#t2a #text2audio #tts #voicecloning #voicedesign #online
🔥4❤2👍1
IGGT4D
Онлайн-понимание 4D-сцен в видеопотоке. Строит единую модель сцены на лету - геометрия, движение камеры, объекты.
• сегментирование и олтслеживание объектов, глубина
• обрабатывает кадры по очереди
• переиспользует прошлый контекст через causal spatial-temporal modeling. Всю историю не хранит для экономии памяти
• обновляет представление сцены инкрементально
• чётко выделяет отдельные объекты.
код / веса ждем
#vlm #tracking #segmentation #videoto4d #vidfeo2depth
Онлайн-понимание 4D-сцен в видеопотоке. Строит единую модель сцены на лету - геометрия, движение камеры, объекты.
• сегментирование и олтслеживание объектов, глубина
• обрабатывает кадры по очереди
• переиспользует прошлый контекст через causal spatial-temporal modeling. Всю историю не хранит для экономии памяти
• обновляет представление сцены инкрементально
• чётко выделяет отдельные объекты.
код / веса ждем
#vlm #tracking #segmentation #videoto4d #vidfeo2depth
🔥3👍2
TimeLens2
Модель для поиска моментов в видео по текстовому запросу. По запросу на естественном языке выдаст интервалы на временной шкале
• обрабатывает однократные и повторяющиеся события
• работает с видео от третьего лица и эгоцентрическими
• выдаёт один или несколько временных интервалов
• использует мультимодальные LLM
• есть несколько версий модели: TimeLens2-4B и TimeLens2-8B
Гитхаб
HF
Демо
#vlm #captioning #video2text #mllm
Модель для поиска моментов в видео по текстовому запросу. По запросу на естественном языке выдаст интервалы на временной шкале
• обрабатывает однократные и повторяющиеся события
• работает с видео от третьего лица и эгоцентрическими
• выдаёт один или несколько временных интервалов
• использует мультимодальные LLM
• есть несколько версий модели: TimeLens2-4B и TimeLens2-8B
Гитхаб
HF
Демо
#vlm #captioning #video2text #mllm
🔥9
FedorAiToolkit
Форк AI Toolkit
Автор добавил в него SAM 3D Body Scanning, чтобы обучать лоры не только на лицо но и на форму тела
Процесс обучения состоит из двух этапов:
1. Обычное обучение LoRA/LoKr на фотографиях пользователя (около 200 шагов)
2. Второй этап: модель генерирует изображения, SAM 3D сканирует их, и обучение подгоняет LoRA под отсканированное тело и лицо
Это позволяет добиться большего сходства с реальным человеком в полных портретах. Время обучения на RTX 5090 около 30 минут для лица и около 60 минут с учетом тела
Реализовано для Krea 2
Есть еще похожий проект BodyRec - помогает лоре запомнить пропорции тела
#finetuning #personalization #krea2
Форк AI Toolkit
Автор добавил в него SAM 3D Body Scanning, чтобы обучать лоры не только на лицо но и на форму тела
Процесс обучения состоит из двух этапов:
1. Обычное обучение LoRA/LoKr на фотографиях пользователя (около 200 шагов)
2. Второй этап: модель генерирует изображения, SAM 3D сканирует их, и обучение подгоняет LoRA под отсканированное тело и лицо
Это позволяет добиться большего сходства с реальным человеком в полных портретах. Время обучения на RTX 5090 около 30 минут для лица и около 60 минут с учетом тела
Реализовано для Krea 2
Есть еще похожий проект BodyRec - помогает лоре запомнить пропорции тела
#finetuning #personalization #krea2
🔥12
MuScriptor
Модель для извлечения MIDI-партий из сведенного музыкалного трека
• разделяет трек на партии барабанов, баса, клавиш, вокала и др.
• учитывает заданный список инструментов для снижения ошибок
Попробовать
Гитхаб
HF
Демо
Галерея
Pinokio
#audio2midi #music2midi #midi #unmix
Модель для извлечения MIDI-партий из сведенного музыкалного трека
• разделяет трек на партии барабанов, баса, клавиш, вокала и др.
• учитывает заданный список инструментов для снижения ошибок
Попробовать
Гитхаб
HF
Демо
Галерея
Pinokio
#audio2midi #music2midi #midi #unmix
🔥18👎1
4-шаговые модели Cosmos 3 Super от Nvidia генерируют видео и картинки в 25 раз быстрее базовой модели
Демо
#t2i #i2v
Демо
#t2i #i2v
👍11❤1🫡1
GLM-5.2-Vision-NVFP4
Версия GLM-5.2 с видением
тянет текст и картинки, отвечает на вопросы, описывает, руссуждает по изображениям
Прикрутили визуальный энкодер MoonViT от Kimi-K2.6
• работа с высоким разрешением без сильного падения скорости
• оптимизация под NVFP4
• мультимодальные эмбеддинги, лучше стыкует текст и визуал
• до 4096 токенов на картинку, контекст 1М
#vlm #nfvp4 #vqa #qa
Версия GLM-5.2 с видением
тянет текст и картинки, отвечает на вопросы, описывает, руссуждает по изображениям
Прикрутили визуальный энкодер MoonViT от Kimi-K2.6
• работа с высоким разрешением без сильного падения скорости
• оптимизация под NVFP4
• мультимодальные эмбеддинги, лучше стыкует текст и визуал
• до 4096 токенов на картинку, контекст 1М
#vlm #nfvp4 #vqa #qa
huggingface.co
baseten/GLM-5.2-Vision-NVFP4 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
🔥6❤3
Solar Open 2
Суверенная корейская модель от Upstage
250B параметров, 15B активных
Контекстное окно до 1 млн токенов.
Оптимизирована для работы агентов в реальных условиях:
• обработка длинных текстов и документов
• выполнение многошаговых задач
• работа с инструментами и кодом
• с квантизацией запускается на двух H100
русский знает. Хотя официально английский, корейский и японский
HF
Чат - там есть распознавание документов, агент
#agent #assistant
Суверенная корейская модель от Upstage
250B параметров, 15B активных
Контекстное окно до 1 млн токенов.
Оптимизирована для работы агентов в реальных условиях:
• обработка длинных текстов и документов
• выполнение многошаговых задач
• работа с инструментами и кодом
• с квантизацией запускается на двух H100
русский знает. Хотя официально английский, корейский и японский
HF
Чат - там есть распознавание документов, агент
#agent #assistant
😱4❤3👍1🤔1
Remotion
Скилл для создания видео с помощью React
• создание анимированных ассетов
• Пакетный рендеринг
• Создание приложений для редактирования видео
• Поддержка эффектов, переходов, субтитров, звуковых эффектов
Гитхаб
———
ChatCut
Плагин для редактирования видео в ChatGPT
• редактирование говорящей головы: удаление пустых слов, выделение лучших моментов
• превращение длинных подкастов в короткие вертикальные ролики
• добавление motion-графики, субтитров, музыки
• генерация B-roll и коротких кинематографических клипов
• создание рекламных роликов и объясняющих видео
Есть бесплатный план на попробовать
#skill #plugin #videoediting
Скилл для создания видео с помощью React
• создание анимированных ассетов
• Пакетный рендеринг
• Создание приложений для редактирования видео
• Поддержка эффектов, переходов, субтитров, звуковых эффектов
npx skills add remotion-dev/skills
Гитхаб
———
ChatCut
Плагин для редактирования видео в ChatGPT
• редактирование говорящей головы: удаление пустых слов, выделение лучших моментов
• превращение длинных подкастов в короткие вертикальные ролики
• добавление motion-графики, субтитров, музыки
• генерация B-roll и коротких кинематографических клипов
• создание рекламных роликов и объясняющих видео
Есть бесплатный план на попробовать
#skill #plugin #videoediting
👍5❤1