🌟 MiniCPM-V 4.5: компактная модель, которая бьет гигантов в мультимодальном ИИ.

Проект OpenBMB выпустил MiniCPM-V 4.5, мультимодальную модель на основе Qwen3-8B и SigLIP2-400M для распознавания изображений, серий изображений и видео, которая может работать на мобильных устройствах на более чем 30 языках.

OpenBMB - некоммерческое подразделение китайской технологической компании ModelBest, под патронажем Университета Цинхуа.

Среди инвесторов материнской ModelBest - Habo (Huawei), Primavera Capital Group и государственный Shenzhen Guozhong Venture Capital Management.

🟡Киллер-фича модели - эффективная работа с видео.

Благодаря унифицированному 3D-Resampler модель сжимает видео в 96 раз: шесть кадров разрешением 448x448 преобразуются всего в 64 токена, тогда как большинству MLLM для этого потребовалось бы 1536 токенов.

Это позволяет обрабатывать видео с частотой кадров до 10 FPS и длинные ролики без роста вычислительных затрат, что подтверждается топовыми результатами на наборах Video-MME, LVBench и MLVU.

Архитектура LLaVA-UHD позволяет модели работать с изображениями до 1,8 мегапикселей и любым соотношением сторон, используя в 4 раза меньше визуальных токенов.

Модель предлагает гибкий режим работы: быстрый ризонинг для повседневных задач и глубокий для сложных сценариев, переключаемый по требованию.

При общем объеме в 8 млрд. параметров, MiniCPM-V 4.5 набирает 77.0 баллов по комплексному бенчу OpenCompass. Этот результат не просто улучшает предыдущие версии, модель превосходит GPT-4o-latest и Gemini-2.0 Pro, обходит открытую Qwen2.5-VL с 72 миллиардами параметров и устанавливает новый стандарт для общего MLLM на OmniDocBench.

🟡С инференсом тоже нет проблем.

Доступны варианты для CPU через llama.cpp и ollama, есть квантованные версии в форматах int4, GGUF и AWQ, поддержка бэкендов SGLang и vLLM, возможность дообучения через Transformers и LLaMA-Factory, а также WebUI и оптимизированное iOS-приложение.

▶️ Чтобы было проще разобраться во всех вариантах запуска, разработчики заботливо подготовили подробный cookbook.


📌Лицензирование: MiniCPM Model License.


🟡Модель
🟡Demo
🟡Сообщество в Discord
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #MMLM #MiniCPM #OpenBMB

Всероссийский чемпионат по искусственному интеллекту RuCode – уже сейчас 🧠

Решай с помощью нейросетей задачи на реальных данных компаний и получай заманчивые бонусы:
💎консультации с экспертами по машинному обучению в бигтехах
💎дополнительные баллы к ЕГЭ
💎смарт-призы от партнёров
💎 экскурсии в офисы ИТ-компаний
💎конечно же, фирменный мерч

Победители получат билет в Москву на торжественное награждение и масштабный ИТ-ивент бесплатно.

🖥 Пишешь хороший код = можешь участвовать. Задачи себе по силам найдут школьники, студенты колледжей и вузов, джуны и миддлы!

Эксперты топовых вузов России и разработчики из ИТ-компаний объединили усилия, чтобы ИИ-чемпионат RuCode заслужил твой лайк ❤️

Первый дедлайн: 26 октября – закрываем простые задачи!

Приступай скорее, ИИ-кейсы уже заждались 🔗

Проект реализуется при поддержке гранта Минобрнауки России в рамках Десятилетия науки и технологий.

Проверь свои знания о главной технологии XXI века – искусственном интеллекте – и выигрывай призы!
Приглашаем тебя на Всероссийское тестирование по ИИ RuCode 🎉

Здесь ты можешь блеснуть эрудицией, получить важные знания в интерактивном формате, познакомиться с полезными нейросетями и повеселиться на крутом ИТ-мероприятии вместе с друзьями по интересам.

А главное, технологичные призы уже ждут своих героев!
😊 Участники, которые смогут набрать 90% правильных ответов, присоединяются к конкурсу смарт-подарков.
😊 Суперприз — мощный компьютер — будет разыгран среди тех, кто пройдёт очное тестирование без ошибок.

Выбирай удобный формат — онлайн или офлайн — и прокачивай свои знания об искусственном интеллекте.

19 октября – единый день тестирования в вузах. Рекомендуем поставить заметку в календаре 📌

Школьники смогут проходить тест в удобные дни на разных площадках в течение сентября и октября! Даты и адреса публикуем в карточках и на сайте.

Крутые призы и компании-партнёры, интересные вопросы и такое же комьюнити, много очных площадок по всей России и комфортный формат онлайн – всё это Всероссийское тестирование по ИИ RuCode.

👍 Начни готовиться по демо-тесту уже сейчас.