Qwen3-Omni
первая полностью нативно омнимодальная (все типы информации) ИИ-модель, которая объединяет текст, изображения, аудио и видео в одной модели без компромиссов между модальностями
#SOTA в 22 из 36 аудио- и AV-бенчмарков
119 языков для текста, 19 — для входящего аудио, 10 — для исходящего аудио? в том числе русский
задержка 211 мс
способна понимать аудио длительностью до 30 минут
настраивается с помощью системных промтов
Встроена функция вызова инструментов
содержит открытую модель Captioner с низким уровнем галлюцинаций
Демо
Чат
HF
Гитхаб
#assistant #tts #stt #multimodal #omnimodal #russian
первая полностью нативно омнимодальная (все типы информации) ИИ-модель, которая объединяет текст, изображения, аудио и видео в одной модели без компромиссов между модальностями
#SOTA в 22 из 36 аудио- и AV-бенчмарков
119 языков для текста, 19 — для входящего аудио, 10 — для исходящего аудио? в том числе русский
задержка 211 мс
способна понимать аудио длительностью до 30 минут
настраивается с помощью системных промтов
Встроена функция вызова инструментов
содержит открытую модель Captioner с низким уровнем галлюцинаций
Демо
Чат
HF
Гитхаб
#assistant #tts #stt #multimodal #omnimodal #russian
🔥15👍3🤔1😈1
Нейронавт | Нейросети в творчестве
ERNIE-4.5-VL-28B-A3B-Thinking: A Breakthrough in Multimodal AI Очередной визуал-мыслитель Эрни от Baidu 28B параметров, из них 3B активных. Думает с помощью изображений, может увеличивать и уменьшать их, чтобы рассмотреть детали Использует внешние инструменты…
ERNIE 5.0
ОМГ! Горшочек не вари! Новый версии выходят слишком часто.
Ну ладно, тут не просто новая версия. Тут омнимодальная модель на 2.4T (трлн.) параметров
Может работать с текстом, изображениями, аудио и видео как на входе, так и на выходе.
Попробовать в чате
#assistant #vlm #omnimodal
ОМГ! Горшочек не вари! Новый версии выходят слишком часто.
Ну ладно, тут не просто новая версия. Тут омнимодальная модель на 2.4T (трлн.) параметров
Может работать с текстом, изображениями, аудио и видео как на входе, так и на выходе.
Попробовать в чате
#assistant #vlm #omnimodal
👍6
Qwen3-Omni-Flash-2025-12-01
Вслед за говорилкой обновили и омнимодальную модель
— лучше понимает видео и аудио в многоходовых диалогах, благодаря чему разговоры протекают естественно
— позволяет настраивать личность ИИ с помощью системных промтов, например для ролевых сценариев
— поддерживает 119 языков текста и 19 языков речи
— создаёт голоса, неотличимые от человеческих
Qwen Chat - нажмите VoiceChat and VideoChat
Демо
Демо MS
API рилтайм
API Offline
#assistant #tts #stt #multimodal #omnimodal #russian
Вслед за говорилкой обновили и омнимодальную модель
— лучше понимает видео и аудио в многоходовых диалогах, благодаря чему разговоры протекают естественно
— позволяет настраивать личность ИИ с помощью системных промтов, например для ролевых сценариев
— поддерживает 119 языков текста и 19 языков речи
— создаёт голоса, неотличимые от человеческих
Qwen Chat - нажмите VoiceChat and VideoChat
Демо
Демо MS
API рилтайм
API Offline
#assistant #tts #stt #multimodal #omnimodal #russian
👍10❤2
Omni-Diffusion
Мультимодальная языковая модель, вернее, это уже омнимодальная, any-to-any - любая модальность на входе, любая на выходе: текст, речь, изображения
#SOTA на визуальных и речевых бенчмарках
Работает на основе диффузионных моделей с масками.
Справляется с задачами, где нужно работать сразу с несколькими видами данных
Гитхаб
HF
#multimodal #omnimodal #vlm #alm #stt #tts
Нейронавт в MAX
Мультимодальная языковая модель, вернее, это уже омнимодальная, any-to-any - любая модальность на входе, любая на выходе: текст, речь, изображения
#SOTA на визуальных и речевых бенчмарках
Работает на основе диффузионных моделей с масками.
Справляется с задачами, где нужно работать сразу с несколькими видами данных
Гитхаб
HF
#multimodal #omnimodal #vlm #alm #stt #tts
Нейронавт в MAX
🔥10👍3❤1
Youtu-Parsing-Omni
Компактная омнимодальная парсинг-модель от Tencent: один 5B трансформер превращает в структурированный JSON почти что угодно — документ, картинку, график, чертеж, аудио и видео.
• Парсинг документов: лейаут, текст, таблицы, формулы, порядок чтения
• Картинки, графики, блок-схемы, геометрические фигуры
• Аудио: ASR, спикеры, сцены, акустические события
• Видео: кадры, OCR+ASR, отчёт о клипе
• Один унифицированный JSON-конверт для семи семейств задач
• Распознавание химструктур (ChemOCR) и нот (PDMX)
• 5B параметров, один энкодер на все модальности
• #SOTA на OmniDocBench v1.6 (96.96)
• Лучшая опенсорс на OmniParsingBench (75.08), после Gemini-3-Pro
• vLLM-плагин для быстрого сервинга
github.com/TencentCloudADP/youtu-parsing
learn2play.fun
#omnimodal #multimodal #any2json #vlm #alm
MAX
Компактная омнимодальная парсинг-модель от Tencent: один 5B трансформер превращает в структурированный JSON почти что угодно — документ, картинку, график, чертеж, аудио и видео.
• Парсинг документов: лейаут, текст, таблицы, формулы, порядок чтения
• Картинки, графики, блок-схемы, геометрические фигуры
• Аудио: ASR, спикеры, сцены, акустические события
• Видео: кадры, OCR+ASR, отчёт о клипе
• Один унифицированный JSON-конверт для семи семейств задач
• Распознавание химструктур (ChemOCR) и нот (PDMX)
• 5B параметров, один энкодер на все модальности
• #SOTA на OmniDocBench v1.6 (96.96)
• Лучшая опенсорс на OmniParsingBench (75.08), после Gemini-3-Pro
• vLLM-плагин для быстрого сервинга
github.com/TencentCloudADP/youtu-parsing
learn2play.fun
#omnimodal #multimodal #any2json #vlm #alm
MAX
❤6👍5
Xiaomi открыли на Hugging Face семейство MiMo-V2.6 — omni-modal модели, которые масштабируют RL-вычисления в сторону самоулучшения
• MiMo-V2.6-Pro-RL — 1T, текст
• MiMo-V2.6-Flash-RL — 311B, текст
• MiMo-V2.6-Distill-Qwen-9B — 9B, мультимодальная (картинки+текст)
• MiMo-V2.6-Pro-MOPD и Flash-MOPD — варианты 1T/311B
Фокус на RL-самоулучшение: модели дообучаются через открытые RL-среды. Есть дистилляция до компактных 9B мультимодальной версии. Весь стек обучения открыт
HF
Попробовать
API
#flagship #omnimodal #multimodal
MAX
• MiMo-V2.6-Pro-RL — 1T, текст
• MiMo-V2.6-Flash-RL — 311B, текст
• MiMo-V2.6-Distill-Qwen-9B — 9B, мультимодальная (картинки+текст)
• MiMo-V2.6-Pro-MOPD и Flash-MOPD — варианты 1T/311B
Фокус на RL-самоулучшение: модели дообучаются через открытые RL-среды. Есть дистилляция до компактных 9B мультимодальной версии. Весь стек обучения открыт
HF
Попробовать
API
#flagship #omnimodal #multimodal
MAX
🔥12❤1👎1