🌟 PaddleOCR-VL-1.5: компактная модель для сложного парсинга.

PaddlePaddle обновили свою линейку PaddleOCR-VL, выпустив PaddleOCR-VL-1.5 - компактную VLM на 0.9 млрд. параметров на базе ERNIE-4.5-0.3B-Paddle. Несмотря на скромный размер, в задачах разбора документов она показывает SOTA-результаты.

На тесте OmniDocBench v1.5 модель выбила 94.5% точности, обойдя не только прошлую версию, но и более тяжелых конкурентов.

Фишка обновления - упор на полевые условия. Модель специально учили работать с плохими исходниками: кривыми сканами, бликами от мониторов и мятыми страницами.

Попутно сделали бенчмарк Real5-OmniDocBench, который гоняет модели по 5 сценариям: сканирование, перекосы, деформация листа, фото с экрана и плохое освещение.

🟡В 1.5 добавили:

🟢Text spotting: находит и распознает текст одновременно (печатный русский - неплохо, рукописный - почти никак)

🟢Seal recognition: распознает печати (русские - не очень, китайские - на ура).

🟢Cross-page table merging: умеет склеивать таблицы, которые разорваны между страницами.

🟢Работа с заголовками: не теряет структуру параграфа при переходе на новый лист.

🟢Новые языки: добавили поддержку тибетского и бенгальского, подтянули распознавание редких символов и древних текстов.

🟡Деплой - на любой вкус

Модель работает с transformers, дружит с Flash Attention 2 и, само собой, поддерживается PaddlePaddle 3.2.1.

Если нужно быстро поднять сервис - есть готовый Docker-образ.

🟡Пара важных моментов по использованию

Если нужен полноценный постраничный парсинг всего документа, лучше использовать официальный пакет PaddleOCR. Реализация через transformers пока ограничена только распознаванием отдельных элементов и споттингом.

В пайплайн встроили логику препроцессинга. Если картинка меньше 1500 пикселей, она автоматом апскейлится фильтром Lanczos. При этом есть потолок в 1.6 млн. пикселей для споттинга, это чтобы не перегружать память GPU и сохранить читаемость мелкого шрифта.

📌Лицензирование: Apache 2.0 License.


🟡Модель
🟡Arxiv
🟡Demo
🟡DeepWiki
🖥Github


@ai_machinelearning_big_data

#AI #ML #VL #OCR #PaddleOCR

🌟 WildDet3D: открытая модель монокулярной 3D-детекции по одному снимку.

Институт Аллена представил модель WildDet3D, которая по одному изображению строит 3D-рамки объектов: оценивает их положение, размер и ориентацию в метрических координатах.

Модель принимает сразу несколько типов промптов: текстовый запрос, клик по точке или готовый 2D-бокс от внешнего детектора.

🟡Архитектура состоит из 3 блоков

2D-детектор построен на SAM3 и обрабатывает все типы запросов.

Геометрическая ветка использует энкодер DINOv2 с обучаемым декодером глубины, учитывающим геометрию обзора: направления лучей камеры зашиваются через сферические гармоники, что снимает необходимость в отдельной калибровке.

Третий компонент, 3D-head, объединяет через кросс-внимание 2D-детекции с признаками глубины и поднимает их в полноценные 3D-боксы.

Если на инференсе доступны данные с LiDAR, ToF или стереокамеры, они подмешиваются в ту же геометрическую ветку без переобучения.

🟡Тесты

На бенчмарке Omni3D модель показывает 34,2 AP с текстовыми промптами (это +5,8 пункта к прежнему лидеру 3D-MOOD).

На zero-shot переносе на Argoverse 2 WildDet3D практически удваивает прежний результат: 40,3 ODS против 23,8.

На редких категориях из собственного бенчмарка WildDet3D-Bench успехи, разумеется, еще лучше - 47,4 AP против 2,4 у 3D-MOOD.

🟡Вместе с моделью вышло демо-приложение для iOS.

Оно использует видеопоток с камеры iPhone и данные LiDAR-сенсора, чтобы в реальном времени отрисовывать 3D-боксы поверх сцены как AR-оверлей.

Это наглядная демонстрация того, как монокулярная модель усиливается, когда устройство умеет отдавать дополнительный сигнал глубины.

🟡Третья часть релиза - датасет WildDet3D-Data.

Более 1 млн. изображений и 3,7 млн. верифицированных 3D-аннотаций, охватывающих свыше 13 тыс. категорий объектов. По сценам распределение получилось такое: 52% помещений, 32% городской среды и 15% природы.

Он собран на основе 2D-наборов (COCO, LVIS, Objects365, V3Det): кандидаты в 3D-боксы генерировались 5 независимыми методами оценки геометрии, затем фильтровались, проверялись VLM и дополнительно отбирались людьми.


🟡Статья
🟡Модель
🟡Техотчет
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #CV #Detection #WildDet3D #Ai2

🌟 DreamLite: генерация и редактирование картинок на мобильных устройствах

Bytedance опубликовала инфу о проекте DreamLite - компактной диффузионки на 390 млн. параметров, которая сможет работать локально на телефоне.

Под капотом - сильно сжатая версия U-Net (от SDXL), автоэнкодер TinyVAE и текстовый Qwen3-VL-2B.

Для трейна используется схема прогрессивного совместного обучения для стабильности генерации и дистилляция DMD2, которая сокращает инференс до 4 шагов.

В описании заявляют, что на iPhone17 Pro картинка размером 1024х1024 генерится около 3 секунд, а в техотчете - что на Xiaomi 14 создание или редактирование изображение тем же размером займет менее 1 секунды.

На синтетике DreamLite выбивает 0.72 (генерация, GenEval) и 4.11 (редактирование, ImgEdit)

Пока опубликованы только техотчет, репозиторий пустой. Сроки релиза обещают традиционно - coming soon.


@ai_machinelearning_big_data

#news #ai #ml

🌟 Boxer: модель для подъема 2D-детекций в 3D.

У WildDet3D от Института Аллена появился сосед по задаче: Reality Labs корпорации Марка Цукерберга опубликовала проект с той же целью - перевести 2D-детекции в 3D, но с иным профилем возможностей и открытости.

Boxer - более узкий, но геометрически более строгий инструмент для indoor-сценариев с трекингом и фузией.

Пайплайн трехступенчатый:

🟢детектор OWLv2 находит объекты в кадре;

🟢BoxerNet с DINOv3 под капотом через кросс-внимание поднимает каждую 2D-рамку в 3D, опираясь на внутренние параметры камеры, направление гравитации и глубину;

🟢детекции между кадрами либо сливаются офлайн через венгерский алгоритм, либо ведутся онлайн-трекером.

В отличие от WildDet3D, Boxer работает с видеопоследовательностями: ему нужны 6-DoF позы каждого кадра, гравитация и калибровка.

Взамен он дает то, чего у WildDet3D нет: согласованные сценовые 3D-боксы на уровне всей сцены и онлайн-трекинг с сохранением идентичности объектов.

Boxer поставляется как inference-решение: авторы не планируют выкладывать код обучения и оценки, объясняя это нежеланием тянуть долгосрочную поддержку.

В репозитории - только скрипты запуска и загрузчики датасетов Project Aria (Gen 1 и 2), CA-1M, SUN-RGBD и ScanNet.

Boxer запускается на macOS и Linux. Windows официально не поддерживается


📌Лицензирование: CC-BY-NC-4.0 License.


🟡Страница проекта
🟡Модель
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #CV #Detection #Boxer #RealityLabs

🌟 Lance: мультимодальная модель от ByteDance

Лаба Intelligent Creation компании ByteDance выложила Lance - модель, которая в единой архитектуре выполняет понимание, генерацию и редактирование изображений и видео.

При небольшом объёме параметров (6 млрд общих и 3 млрд активных) модель покрывает набор задач от генерации видео по тексту до субъект-ориентированной генерации.

ByteDance говорит, что на второй день после публикации модель вошла в тройку лидеров рейтинга Hugging Face Trending.

Lance построена по принципу dual-stream MoE: специализированные пути для понимания и для генерации работают в общем контекстном пространстве, но обладают разной модельной ёмкостью.

Авторы придумали собственный механизм позиционного кодирования MaPE, который помогает модели различать роли разнородных визуальных токенов внутри одной последовательности.

Когда Lance одновременно учится понимать и генерировать, в одну последовательность попадают визуальные токены разной природы: одни описывают исходное изображение для анализа, другие задают условие для генерации, третьи представляют сам будущий кадр на зашумлённой стадии.

Стандартное позиционное кодирование сообщает модели только то, где каждый токен расположен в пространстве и во времени, но ничего не говорит о его роли — и при смешанном обучении модель легко начинает путать, что именно от неё требуется в данной точке.

MaPE добавляет к позиции дополнительный сигнал о принадлежности токена к функциональной группе - фактически снабжает каждый элемент меткой "это для понимания", "это условие", "это то, что нужно сгенерировать", при этом не ломая ни пространственную структуру изображений, ни временной порядок кадров видео.

Модель по-прежнему видит "где" и "когда", но дополнительно понимает, "зачем" здесь оказался конкретный токен.

🟡Тесты

🟢VBench (генерация видео) - 85,11;
🟢MVBench (понимание видео) - 62,0;
🟢GenEval (генерация изображений) - 0,90;
🟢GEdit-Bench (редактирование) - 7,30.


📌Лицензирование: Apache 2.0 License.


🟡Страница проекта
🟡Модель
🟡Arxiv
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Multimodal #Lance #ByteDance

✔️ Qwen анонсировала модель для управления роботами разных конструкций

Подразделение Alibaba сообщила о выпуске Qwen-VLA - модели, которая способна управлять роботами разных типов без отдельной настройки под каждую платформу.

VLA-модели получают на вход изображение с камеры и текстовую команду, а на выходе выдают конкретные действия для робота.

Новинка построена на VL-основе Qwen3.5-4B и дополнена декодером действий на 1,15 млрд параметров.

Модель объединяет 3 типа задач: манипуляции (захват и перемещение предметов), навигацию и прогнозирование траекторий, а переключение между разными роботами требует лишь изменения текстовой инструкции.

Qwen-VLA не уступает специализированным системам, обученным под каждую отдельную задачу - GR00T (разработка NVIDIA) и π0.5 (Physical Intelligence).

На наборе тестов LIBERO Qwen-VLA показала 97,9%, на RoboTwin-Hard - 87,2%, а в экспериментах с двуруким роботом ALOHA средний процент успешных выполнений в знакомых условиях составил 83,6% и 76,9% в незнакомых.

Пока опубликован технический отчет и создан репозиторий проекта, о доступности самих моделей не сообщается.


@ai_machinelearning_big_data

#news #ai #ml

🌟 Moebius: ультракомпактная модель для инпейнта изображений

Команда из китайского университета HUST и лаборатории VIVO AI Lab опубликовала проект Moebius для восстановления и дорисовки недостающих или удалённых фрагментов изображений.

Модель объёмом 220 млн параметров, по словам авторов, достигает качества, сопоставимого с системами на порядок большего размера, при значительно более высокой скорости работы.

На 6 тестовых наборах Moebius работает на уровне моделей с 10 млрд параметров (FLUX.1-Fill-Dev), а в отдельных случаях (сложные текстуры и правдоподобность лиц) превосходит их.

Скорость инференса составляет около 26 мс на один шаг вычислений, а суммарное ускорение более чем в 15 раз по сравнению с крупными системами.

🟡Под капотом два решения

Первое, блок Local-λ Mix Interaction, который перестраивает механизм внимания, сводя пространственный и смысловой контекст к матрицам фиксированного размера.

Второе - дистилляция знаний от более крупной модели-учителя PixelHacker, выполненная в латентном пространстве.

На Hugging Face технический отчет Moebius занял первое место в ежедневном рейтинге статей, а сам проект подан на конференцию ECCV 2026.

Опубликованы код для дообучения и веса:

🟢Базовый чекпоинт
🟠Дообученная версия на Places2 (общие знания);
🟠Дообученная версия на CelebA-HQ (фото знаменитостей);
🟠Дообученная версия на FFHQ (люди с Flickr).


📌Лицензирование кода : Apache 2.0 License

📌Лицензирование моделей: MIT License


🟡Страница проекта
🟡Arxiv
🟡Веса
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Diffusers #InPaint #Moebius

✔️ Mistral обновила OCR-модель до версии 4.1

Главный упор сделали на обработку перегруженных страницы, где текст, изображения и подписи идут плотно и наслаиваются друг на друга.

По данным Mistral, модель точнее определяет границы каждого элемента - рамки не съезжают, изображения не наезжают одно в другое по ошибке.

На нагруженных технических диаграммах модель реже теряет блоки, а текстовые выноски считывает как самостоятельные объекты, а не сливает в один массив.

Отдельно заявлена работа с многоколоночными документами, OCR 4.1 сохраняет исходную структуру страницы и отдает каждую колонку отдельной областью текста.

В настроенных процессах тем, кто пользуется моделью, менять ничего не нужно. Алиас mistral-ocr-latest уже переводит существующие интеграции на новую версию.

Руками модель можно попробовать в Mistral Studio.


@ai_machinelearning_big_data

#news #ai #ml

🌟 Turbovec: библиотека векторного поиска на основе гугловского TurboQuant

Библиотека написана на Rust, есть привязки для Python, а в основе - TurboQuant, алгоритм сжатия векторов, который Google описали в статье, принятой на ICLR 2026.

Сама библиотека к Google отношения не имеет, это независимая реализация чужого алгоритма.

🟡Turbovec сжимает данные примерно в восемь раз

Коллекция из 10 миллионов документов, занимающая в исходном виде 31 гигабайт, умещается в 4. Поиск при этом, как утверждает автор, идёт быстрее, чем в FAISS - одного из самых распространённых инструментов в этой области.

По замерам turbovec обгоняет FAISS в среднем в 3,4-3,5 раза при 4-битном сжатии и на 20-26% при 2-битном, в зависимости от железа.

🟡Удобные мелочи

Индекс не нужно предварительно обучать - векторы просто добавляются по мере поступления.

Сохранение инкрементальное, на диск уходит только то, что изменилось с прошлого раза, поэтому даже на большом индексе это занимает миллисекунды.

Поиску можно передать список разрешённых документов - скажем, чтобы пользователь видел только свои файлы.

Удаление работает по постоянным идентификаторам, ссылки на записи не плывут.

Тем, кто уже сидит на LangChain, LlamaIndex, Haystack или Agno, автор предлагает готовые адаптеры - меняется одна строка импорта, остальной код остаётся как был.


📌Лицензирование: MIT License


🖥 Github


@ai_machinelearning_big_data

#AI #ML #VectorSearch #TurboQuant #Rust