Mage-Flow
У нас новый игрок в опенсорсе для работы с картинками
Компактная модель от Microsoft для создания и редактирования изображений. 4B параметров
• генерация изображений по тексту
• редактирование по инструкциям
• работа с разрешением от 512 до 2048
• поддержка любых пропорций
• высокая скорость генерации
• семантическое редактирование
• трансформация внешнего вида
• реставрация изображений
Выпущен в трёх вариантах: Base, RL-aligned и Turbo. На A100 генерирует изображение за 0.59 секунды, редактирование - за 1.02 секунды. Используют Mage-VAE для эффективного кодирования
Гитхаб
HF
Демо
Демо VL
#t2i #i2i #imageediting #image2normals
У нас новый игрок в опенсорсе для работы с картинками
Компактная модель от Microsoft для создания и редактирования изображений. 4B параметров
• генерация изображений по тексту
• редактирование по инструкциям
• работа с разрешением от 512 до 2048
• поддержка любых пропорций
• высокая скорость генерации
• семантическое редактирование
• трансформация внешнего вида
• реставрация изображений
Выпущен в трёх вариантах: Base, RL-aligned и Turbo. На A100 генерирует изображение за 0.59 секунды, редактирование - за 1.02 секунды. Используют Mage-VAE для эффективного кодирования
Гитхаб
HF
Демо
Демо VL
#t2i #i2i #imageediting #image2normals
👍24😱2
This media is not supported in your browser
VIEW IN TELEGRAM
HOMIE
Фреймворк для персонализации видео с фокусом на взаимодействии человека и объектов. Решает проблему неестественных движений и потери идентичности при генерации сцен.
• генерация сложных взаимодействий с сохранением естественности движений
• точное размещение и удержание логотипов в динамике
• стабильная читаемость текста от кадра к кадру
• согласованность образа при смене ракурса
В основе - MLLM плюс WAN 2.1
Гитхаб
HF
#wan21 #hoi #personalization #i2v #referencing
Фреймворк для персонализации видео с фокусом на взаимодействии человека и объектов. Решает проблему неестественных движений и потери идентичности при генерации сцен.
• генерация сложных взаимодействий с сохранением естественности движений
• точное размещение и удержание логотипов в динамике
• стабильная читаемость текста от кадра к кадру
• согласованность образа при смене ракурса
В основе - MLLM плюс WAN 2.1
Гитхаб
HF
#wan21 #hoi #personalization #i2v #referencing
👍10
Laguna S 2.1
#MoE модель от Poolside для программирования и долгих агентных задач
• 118B параметров, на токен активны 8B
• контекст до 1 млн токенов
• два режима - с рассуждением и без
• Terminal-Bench 70,2%, SWE-Bench Multilingual 78,5%
• запускается на одном DGX Spark
• веса под лицензией OpenMDW-1.1
• возможны ошибки в агентных оболочках и при долгих рассуждениях
Доступна бесплатно в OpenCode и KiloCode
HF
Квантизации
Чат
Openrouter
Спасибо @Endorpheen
#coding #agent
#MoE модель от Poolside для программирования и долгих агентных задач
• 118B параметров, на токен активны 8B
• контекст до 1 млн токенов
• два режима - с рассуждением и без
• Terminal-Bench 70,2%, SWE-Bench Multilingual 78,5%
• запускается на одном DGX Spark
• веса под лицензией OpenMDW-1.1
• возможны ошибки в агентных оболочках и при долгих рассуждениях
Доступна бесплатно в OpenCode и KiloCode
HF
Квантизации
Чат
Openrouter
Спасибо @Endorpheen
#coding #agent
🔥7👍2❤1
Seed Audio 1.0
Аудиомодель от ByteDance. Генерирует за один проход целую звуковую сцену по одному промпту. Озвучка, подкасты, дубляж
• Можно жестко задавать тайминг реплик с точностью до 100 мс
• 20+ языков, перенос тембра между ними
• Клонирование голоса по референсам. До трёх аудиоклипов подключаются к промпту как @Audio1, @Audio2, @Audio3. Вместо аудио можно дать картинку с описанием персонажа.
Русский язык почти не тянет, промпт надо на английском. Лимит 2 минуты аудио, промпт до 3000 знаков. Цена ~$0.15–0.19/минута
Попробовать
Спасибо @QuantumFast
#t2a #text2audio #tts #voicecloning #voicedesign #online
Аудиомодель от ByteDance. Генерирует за один проход целую звуковую сцену по одному промпту. Озвучка, подкасты, дубляж
• Можно жестко задавать тайминг реплик с точностью до 100 мс
• 20+ языков, перенос тембра между ними
• Клонирование голоса по референсам. До трёх аудиоклипов подключаются к промпту как @Audio1, @Audio2, @Audio3. Вместо аудио можно дать картинку с описанием персонажа.
Русский язык почти не тянет, промпт надо на английском. Лимит 2 минуты аудио, промпт до 3000 знаков. Цена ~$0.15–0.19/минута
Попробовать
Спасибо @QuantumFast
#t2a #text2audio #tts #voicecloning #voicedesign #online
🔥4❤2👍1
IGGT4D
Онлайн-понимание 4D-сцен в видеопотоке. Строит единую модель сцены на лету - геометрия, движение камеры, объекты.
• сегментирование и олтслеживание объектов, глубина
• обрабатывает кадры по очереди
• переиспользует прошлый контекст через causal spatial-temporal modeling. Всю историю не хранит для экономии памяти
• обновляет представление сцены инкрементально
• чётко выделяет отдельные объекты.
код / веса ждем
#vlm #tracking #segmentation #videoto4d #vidfeo2depth
Онлайн-понимание 4D-сцен в видеопотоке. Строит единую модель сцены на лету - геометрия, движение камеры, объекты.
• сегментирование и олтслеживание объектов, глубина
• обрабатывает кадры по очереди
• переиспользует прошлый контекст через causal spatial-temporal modeling. Всю историю не хранит для экономии памяти
• обновляет представление сцены инкрементально
• чётко выделяет отдельные объекты.
код / веса ждем
#vlm #tracking #segmentation #videoto4d #vidfeo2depth
🔥3👍2
TimeLens2
Модель для поиска моментов в видео по текстовому запросу. По запросу на естественном языке выдаст интервалы на временной шкале
• обрабатывает однократные и повторяющиеся события
• работает с видео от третьего лица и эгоцентрическими
• выдаёт один или несколько временных интервалов
• использует мультимодальные LLM
• есть несколько версий модели: TimeLens2-4B и TimeLens2-8B
Гитхаб
HF
Демо
#vlm #captioning #video2text #mllm
Модель для поиска моментов в видео по текстовому запросу. По запросу на естественном языке выдаст интервалы на временной шкале
• обрабатывает однократные и повторяющиеся события
• работает с видео от третьего лица и эгоцентрическими
• выдаёт один или несколько временных интервалов
• использует мультимодальные LLM
• есть несколько версий модели: TimeLens2-4B и TimeLens2-8B
Гитхаб
HF
Демо
#vlm #captioning #video2text #mllm
🔥9
FedorAiToolkit
Форк AI Toolkit
Автор добавил в него SAM 3D Body Scanning, чтобы обучать лоры не только на лицо но и на форму тела
Процесс обучения состоит из двух этапов:
1. Обычное обучение LoRA/LoKr на фотографиях пользователя (около 200 шагов)
2. Второй этап: модель генерирует изображения, SAM 3D сканирует их, и обучение подгоняет LoRA под отсканированное тело и лицо
Это позволяет добиться большего сходства с реальным человеком в полных портретах. Время обучения на RTX 5090 около 30 минут для лица и около 60 минут с учетом тела
Реализовано для Krea 2
Есть еще похожий проект BodyRec - помогает лоре запомнить пропорции тела
#finetuning #personalization #krea2
Форк AI Toolkit
Автор добавил в него SAM 3D Body Scanning, чтобы обучать лоры не только на лицо но и на форму тела
Процесс обучения состоит из двух этапов:
1. Обычное обучение LoRA/LoKr на фотографиях пользователя (около 200 шагов)
2. Второй этап: модель генерирует изображения, SAM 3D сканирует их, и обучение подгоняет LoRA под отсканированное тело и лицо
Это позволяет добиться большего сходства с реальным человеком в полных портретах. Время обучения на RTX 5090 около 30 минут для лица и около 60 минут с учетом тела
Реализовано для Krea 2
Есть еще похожий проект BodyRec - помогает лоре запомнить пропорции тела
#finetuning #personalization #krea2
🔥12
MuScriptor
Модель для извлечения MIDI-партий из сведенного музыкалного трека
• разделяет трек на партии барабанов, баса, клавиш, вокала и др.
• учитывает заданный список инструментов для снижения ошибок
Попробовать
Гитхаб
HF
Демо
Галерея
Pinokio
#audio2midi #music2midi #midi #unmix
Модель для извлечения MIDI-партий из сведенного музыкалного трека
• разделяет трек на партии барабанов, баса, клавиш, вокала и др.
• учитывает заданный список инструментов для снижения ошибок
Попробовать
Гитхаб
HF
Демо
Галерея
Pinokio
#audio2midi #music2midi #midi #unmix
🔥18👎1