📃 Baidu представила Unlimited OCR — нейросеть, обрабатывающую десятки страниц за один проход

Baidu выпустила открытую модель Unlimited OCR, которая решает проблему растущего потребления памяти при распознавании многостраничных документов. В основе — механизм Reference Sliding Window Attention (R-SWA), вдохновлённый тем, как человек копирует текст: он не перечитывает всё написанное, а держит в фокусе лишь последние символы. Это позволяет удерживать KV-кэш на фиксированном уровне вместо его линейного роста.

Модель построена на базе Deepseek OCR. Baidu сохранила DeepEncoder, сжимающий изображение 1024×1024 пикселя до 256 токенов, и добавила MoE-декодер на 3 млрд параметров (500 млн активных). R-SWA заменяет стандартное внимание во всех слоях: каждый новый токен видит все визуальные токены, но из сгенерированного вывода — только последние 128. Визуальные токены кодируются однократно и не меняются, что предотвращает размытие признаков.

На OmniDocBench v1.5 модель набрала 93% — на 6 п.п. выше Deepseek OCR. В тесте на 40+ страницах ошибка не превышает 0.11. Baidu утверждает, что ограничение окна до 128 токенов не вредит точности, а в некоторых случаях даже улучшает её за счёт фокусировки на задаче OCR.

#AI #Baidu #OCR #Documents #Benchmark