Сделал парсер для PDF файлов с Ollama глазками на базе gemma3:27b-it-qat
Вдруг кому полезно будет.
GitHub
На вход подаёте любой PDF - не важно что там сканы или текст.
Вытаскивается и текст и каждая страница сохраняется как изображение и отдаётся в ollama gemma3 на анализ.
Результат объединяется и для каждой страницы у вас будет 2 текстовых описания, которые дальше уже можно как удобно обрабатывать.
Модели можно подставлять любые - вызывается через url.
Размер файла тоже не ограничен.
Автоперевод на любой язык (указывается в настройках)
Страницы можно перерабатывать поштучно, указывая их в командной строке.
В случае остановки - продолжает с последней распознанной страницы.
Для каждой страницы сохраняются промежуточные результаты и потом объединяются в общий итоговый файл.
Дальше можно передавать в RAG цепочку.
#dev #PDF #ollama #gemma #OCR
———
@tsingular
Вдруг кому полезно будет.
GitHub
На вход подаёте любой PDF - не важно что там сканы или текст.
Вытаскивается и текст и каждая страница сохраняется как изображение и отдаётся в ollama gemma3 на анализ.
Результат объединяется и для каждой страницы у вас будет 2 текстовых описания, которые дальше уже можно как удобно обрабатывать.
Модели можно подставлять любые - вызывается через url.
Размер файла тоже не ограничен.
Автоперевод на любой язык (указывается в настройках)
Страницы можно перерабатывать поштучно, указывая их в командной строке.
В случае остановки - продолжает с последней распознанной страницы.
Для каждой страницы сохраняются промежуточные результаты и потом объединяются в общий итоговый файл.
Дальше можно передавать в RAG цепочку.
#dev #PDF #ollama #gemma #OCR
———
@tsingular
🔥15⚡11✍5👍3❤1🤯1
NuMarkdown OCR фреймворк теперь умеет в логический анализ
Компания NuMind выпустила модель NuMarkdown-8B-Thinking — теперь распознавалка документов может рассуждать и анализировать контекст.
Файнтюн Qwen 2.5-VL-7B заточен на синтетическом датасете рассуждений перевода документов в Markdown, что позволило добиться значительного роста в качестве распознавания, обойдя GPT-4o и OCRFlux и вывести результат на уровень Gemini 2.5.
Полная модель и инструкции по запуску в разных средах:
https://huggingface.co/numind/NuMarkdown-8B-Thinking
Размер 16 гигов
Лицензия MIT
#NuMarkdown #OCR
———
@tsingular
Компания NuMind выпустила модель NuMarkdown-8B-Thinking — теперь распознавалка документов может рассуждать и анализировать контекст.
Файнтюн Qwen 2.5-VL-7B заточен на синтетическом датасете рассуждений перевода документов в Markdown, что позволило добиться значительного роста в качестве распознавания, обойдя GPT-4o и OCRFlux и вывести результат на уровень Gemini 2.5.
Полная модель и инструкции по запуску в разных средах:
https://huggingface.co/numind/NuMarkdown-8B-Thinking
Размер 16 гигов
Лицензия MIT
#NuMarkdown #OCR
———
@tsingular
1🔥4❤1
DeepSeek-OCR: Одна картинка стоит тысячи слов
DeepSeek выпустил OCR-модель, которая превращает документы в изображения и обрабатывает их как визуальные токены вместо классических текстовых. Звучит странно, но работает - и может изменить архитектуру LLM.
Попробуем разобраться что за зверь выкатили китайцы на этот раз:
Вместо обработки текста токен за токеном, DeepSeek-OCR рендерит его в картинку и сжимает в визуальные токены.
Один токен изображения заменяет 10-20 текстовых токенов без особых потерь качества.
Ключевые цифры:
- 97% точность при сжатии в 10×
- 60% точность даже при сжатии в 20×
- 100 визуальных токенов против 6000+ текстовых на OmniDocBench
- 200k+ страниц/день обработки на одной A100-40G
Как работает:
DeepEncoder с window+global attention пропускает изображение документа через 16× compressor. Результат — компактное представление, которое LLM легко декодирует обратно в текст.
🔥 Даже Карпатый тут высказался:
"Может, вообще все входы в LLM делать картинками? Даже чистый текст рендерить и подавать пикселями."
Его аргументы:
- Компрессия - контекст в 10-20 раз короче
- Универсальность - не важно что на картинке,- жирный текст, таблица, цвета шрифтов
- Bidirectional attention — пиксели можно смотреть "в обе стороны"
- Смерть токенизатору — уходит весь багаж Unicode, дыры в безопасности, странности с распознаванием эмодзи, когда то, что человек видит одинаково, - машина интерпретирует по разному.
"Vision→text работает. Text→text можно сделать vision→text. Обратно — нельзя."
Карпатый уже планирует переписать наночат версию с пиксельным входом.
На практике это даст:
- Сверх-длинные по нынешним меркам диалоги - старые сообщения превращаются в картинки и сжимаются
- Механизм "забывания" - как в памяти человека: свежее будет чётче, старое размыто
- Безграничные контексты - теоретически возможны через прогрессивное сжатие
- Генерация трейнинг-данных для LLM/VLM в промышленных масштабах
Если идея зайдёт, токенизатор может стать артефактом истории, как дискеты.
Мы наблюдаем реально фундаментальные прорывы в ИИ со стороны Китая.
Эффект количественного превосходства отличников.
#DeepSeek #OCR #Karpathy #Китай
———
@tsingular
DeepSeek выпустил OCR-модель, которая превращает документы в изображения и обрабатывает их как визуальные токены вместо классических текстовых. Звучит странно, но работает - и может изменить архитектуру LLM.
Попробуем разобраться что за зверь выкатили китайцы на этот раз:
Вместо обработки текста токен за токеном, DeepSeek-OCR рендерит его в картинку и сжимает в визуальные токены.
Один токен изображения заменяет 10-20 текстовых токенов без особых потерь качества.
Ключевые цифры:
- 97% точность при сжатии в 10×
- 60% точность даже при сжатии в 20×
- 100 визуальных токенов против 6000+ текстовых на OmniDocBench
- 200k+ страниц/день обработки на одной A100-40G
Как работает:
DeepEncoder с window+global attention пропускает изображение документа через 16× compressor. Результат — компактное представление, которое LLM легко декодирует обратно в текст.
🔥 Даже Карпатый тут высказался:
"Может, вообще все входы в LLM делать картинками? Даже чистый текст рендерить и подавать пикселями."
Его аргументы:
- Компрессия - контекст в 10-20 раз короче
- Универсальность - не важно что на картинке,- жирный текст, таблица, цвета шрифтов
- Bidirectional attention — пиксели можно смотреть "в обе стороны"
- Смерть токенизатору — уходит весь багаж Unicode, дыры в безопасности, странности с распознаванием эмодзи, когда то, что человек видит одинаково, - машина интерпретирует по разному.
"Vision→text работает. Text→text можно сделать vision→text. Обратно — нельзя."
Карпатый уже планирует переписать наночат версию с пиксельным входом.
На практике это даст:
- Сверх-длинные по нынешним меркам диалоги - старые сообщения превращаются в картинки и сжимаются
- Механизм "забывания" - как в памяти человека: свежее будет чётче, старое размыто
- Безграничные контексты - теоретически возможны через прогрессивное сжатие
- Генерация трейнинг-данных для LLM/VLM в промышленных масштабах
Если идея зайдёт, токенизатор может стать артефактом истории, как дискеты.
Мы наблюдаем реально фундаментальные прорывы в ИИ со стороны Китая.
Эффект количественного превосходства отличников.
#DeepSeek #OCR #Karpathy #Китай
———
@tsingular
🔥32👍9⚡4❤2
Короче, делюсь.
Решил же попробовать DeepSeek OCR
А он только под NVidia.
А под рукой только Apple и MLX.
Пришлось зарядить Codex.
Он что-то долго шуршал, искал, переписывал.
Несколько дней фоном на это ушло.
Принципиально не менял модели.
Только codex-medium.
Но в итоге он справился.
И теперь у меня есть своя версия DeepSeekOCR под мак.
На скрине пример таблицы, которую он смог вытащить из картинки.
Если кому нужен патч - пишите, поделюсь.
А если еще кто нибудь объяснит как можно законтрибьютить в основную ветку- вообще огонь.
#DeepSeekOCR #DeepSeek #OCR #dev
------
@tsingular
Решил же попробовать DeepSeek OCR
А он только под NVidia.
А под рукой только Apple и MLX.
Пришлось зарядить Codex.
Он что-то долго шуршал, искал, переписывал.
Несколько дней фоном на это ушло.
Принципиально не менял модели.
Только codex-medium.
Но в итоге он справился.
И теперь у меня есть своя версия DeepSeekOCR под мак.
На скрине пример таблицы, которую он смог вытащить из картинки.
Если кому нужен патч - пишите, поделюсь.
А если еще кто нибудь объяснит как можно законтрибьютить в основную ветку- вообще огонь.
#DeepSeekOCR #DeepSeek #OCR #dev
------
@tsingular
🔥28❤8
Forwarded from Machinelearning
Tencent выложила в open-source новую модель HunyuanOCR.
Это компактная, быстрая и полностью готовая end-to-end система для OCR, построенная на мультимодальной архитектуре Hunyuan.
Главное - при размере только 1 миллиард параметров она показывает результаты уровня крупных моделей и стоит в разы дешевле в запуске.
⚡ Топ по бенчмаркам
• 860 на OCRBench среди всех моделей до 3B
• 94.1 на OmniDocBench - лучший результат в задачах распознованяисложных документов
🌐 Что умеет HunyuanOCR
Модель закрывает практически все типы OCR задач
• текст на улицах, витринах, табличках
• рукописный текст и художественные шрифты
• сложные документы: таблицы, формулы, встроенный HTML и LaTeX
• субтитры в видео
• перевод текста на фото end-to-end сразу на 14 языков
Это не каскадный пайплайн, а единое решение
Один запрос и одно инференс-прогон дают готовый результат.
Это быстрее, надёжнее и удобнее, чем традиционные OCR-цепочки.
📌 Project Page
web: https://hunyuan.tencent.com/vision/zh?tabIndex=0
mobile: https://hunyuan.tencent.com/open_source_mobile?tab=vision&tabIndex=0
🔗 GitHub
https://github.com/Tencent-Hunyuan/HunyuanOCR
🤗 Hugging Face
https://huggingface.co/tencent/HunyuanOCR
📄 Technical Report
https://github.com/Tencent-Hunyuan/HunyuanOCR/blob/main/HunyuanOCR_Technical_Report.pdf
@ai_machinelearning_big_data
#HunyuanOCR #TencentAI #OCR #VisionAI #DeepLearning #Multimodal #AIModels #OpenSourceAI #ComputerVision #DocumentAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9⚡3❤2👍1
Mistral выпустил OCR-модель третьего поколения
Mistral выкатил третье поколение OCR. Главный фокус — универсальность: одна модель для всех типов документов вместо зоопарка специализированных решений.
Ключевые цифры:
- 74% win rate над предыдущей версией
- $2 за 1000 страниц ($1 через Batch API - в 10+ раз дешевле конкурентов)
- 95-98% точность по языкам (китайский, восточноазиатские, европейские)
- Модель: mistral-ocr-2512
Где рвёт конкурентов (см. графики):
- Формы: 95.9% vs Azure 86.2%
- Рукописный текст: 88.9% vs Textract 72.4%
- Сложные таблицы: 96.6% vs Google DocAI 75.9%
- Исторические сканы: 96.7% — лидер
AWS Textract, Azure, Google DocAI, DeepSeek OCR — все позади, причём с заметным отрывом.
Техническая начинка:
- Markdown на выходе с HTML-таблицами (colspan/rowspan сохраняются)
- Извлечение встроенных изображений
- Устойчивость к артефактам сжатия, перекосам, низкому DPI
Один минус, - не оупенсорс.
Доступно через API и Document AI Playground (drag-and-drop интерфейс в Mistral AI Studio).
Т.е. конфиденциалку не пораспознаешь.
#Mistral #OCR #документы
———
@tsingular
Mistral выкатил третье поколение OCR. Главный фокус — универсальность: одна модель для всех типов документов вместо зоопарка специализированных решений.
Ключевые цифры:
- 74% win rate над предыдущей версией
- $2 за 1000 страниц ($1 через Batch API - в 10+ раз дешевле конкурентов)
- 95-98% точность по языкам (китайский, восточноазиатские, европейские)
- Модель: mistral-ocr-2512
Где рвёт конкурентов (см. графики):
- Формы: 95.9% vs Azure 86.2%
- Рукописный текст: 88.9% vs Textract 72.4%
- Сложные таблицы: 96.6% vs Google DocAI 75.9%
- Исторические сканы: 96.7% — лидер
AWS Textract, Azure, Google DocAI, DeepSeek OCR — все позади, причём с заметным отрывом.
Техническая начинка:
- Markdown на выходе с HTML-таблицами (colspan/rowspan сохраняются)
- Извлечение встроенных изображений
- Устойчивость к артефактам сжатия, перекосам, низкому DPI
Один минус, - не оупенсорс.
Доступно через API и Document AI Playground (drag-and-drop интерфейс в Mistral AI Studio).
Т.е. конфиденциалку не пораспознаешь.
#Mistral #OCR #документы
———
@tsingular
🔥7⚡2❤1🤨1
Ollama GLM-OCR: Китайский распознавалка документов у нас дома
Ollama выкатили поддержку GLM-OCR. Визуальный эксперт на 9 млрд параметров от Zhipu AI выносит GPT-4o и Claude 3 Opus в тестах распознавание текста.
📄 Сложная верстка больше не проблема: Обычные OCR сыплются на таблицах, формулах и мелких подписях. GLM-OCR работает в разрешении 1120x1120 и видит структуру документа целиком. Он считывает иерархию данных и понимает разницу, например, между заголовком и данными в ячейке.
⚙️ Техника: Модель весит ~2.2 ГБ — средняя видеокарта (8ГБ VRAM) или Apple Silicon проглотят её спокойно.
Поддерживает многошаговый диалог. Можно скормить скан и сразу попросить: «собери JSON из этой таблицы» или «выпиши итоговые суммы».
🚀 Интеграция в один клик:
Зачем это бизнесу: Полная автоматизация бухгалтерии и архивов без трат на API. Косты на обработку падают до цены электричества. Это идеальный входной шлюз для локальных RAG-систем, работающих со сканами.
Наконец-то мощная распознавалка малого размера.
Для внутренних задач по разбору документов,- идеально!
#Ollama #OCR #GLM #ZhipuAI
------
@tsingular
Ollama выкатили поддержку GLM-OCR. Визуальный эксперт на 9 млрд параметров от Zhipu AI выносит GPT-4o и Claude 3 Opus в тестах распознавание текста.
📄 Сложная верстка больше не проблема: Обычные OCR сыплются на таблицах, формулах и мелких подписях. GLM-OCR работает в разрешении 1120x1120 и видит структуру документа целиком. Он считывает иерархию данных и понимает разницу, например, между заголовком и данными в ячейке.
⚙️ Техника: Модель весит ~2.2 ГБ — средняя видеокарта (8ГБ VRAM) или Apple Silicon проглотят её спокойно.
Поддерживает многошаговый диалог. Можно скормить скан и сразу попросить: «собери JSON из этой таблицы» или «выпиши итоговые суммы».
🚀 Интеграция в один клик:
ollama run glm-ocr
Зачем это бизнесу: Полная автоматизация бухгалтерии и архивов без трат на API. Косты на обработку падают до цены электричества. Это идеальный входной шлюз для локальных RAG-систем, работающих со сканами.
Наконец-то мощная распознавалка малого размера.
Для внутренних задач по разбору документов,- идеально!
#Ollama #OCR #GLM #ZhipuAI
------
@tsingular
1🔥34❤6✍3⚡2🆒1
OCR без настройки: распознаём документы через HF облако
Допустим, вам нужно распознать тысячу сканов древних книг к вечеру.
Или свежую подборку рассекреченных документов об НЛО :).
Вариантов два: несколько часов гонять их на своём GPU, разбираться с драйверами и пайплайном. Или сделать проще.
HuggingFace собрали готовый процесс: репозиторий uv-scripts/ocr - 20 моделей на выбор, запуск одной командой через Jobs.
Вы даёте датасет, указываете модель, всё остальное происходит в облаке.
Цена: от $0.60/час на T4.
🤖 Что можно выбрать:
Falcon-OCR (0.3B): копеечная оцифровка больших объёмов, хорошо справляется с таблицами
GLM-OCR (0.9B): лучший в категории до миллиарда, понимает русский
PaddleOCR-VL-1.5 (0.9B): шесть режимов - текст, таблицы, формулы, графики, spotting, печати
Qianfan-OCR (4.7B): первое место на OmniDocBench, 192 языка
DeepSeek-OCR (4B): пять режимов разрешения на выбор
NuMarkdown-8B (8B): показывает ход рассуждений перед ответом
DoTS.ocr (1.7B): сотня языков из коробки
⚙️ Как это работает:
Одна команда
💼 Когда пригодится:
Любой сценарий, где нужно оаспознать большое количетво сканов или PDF.
Не нужно покупать GPU или поднимать инфраструктуру. Кинули датасет, выбрали модель под задачу и бюджет, через час получили готовый текст.
#OCR #HuggingFace #VLM #документы #AI
------
@tsingular
Допустим, вам нужно распознать тысячу сканов древних книг к вечеру.
Или свежую подборку рассекреченных документов об НЛО :).
Вариантов два: несколько часов гонять их на своём GPU, разбираться с драйверами и пайплайном. Или сделать проще.
HuggingFace собрали готовый процесс: репозиторий uv-scripts/ocr - 20 моделей на выбор, запуск одной командой через Jobs.
Вы даёте датасет, указываете модель, всё остальное происходит в облаке.
Цена: от $0.60/час на T4.
🤖 Что можно выбрать:
Falcon-OCR (0.3B): копеечная оцифровка больших объёмов, хорошо справляется с таблицами
GLM-OCR (0.9B): лучший в категории до миллиарда, понимает русский
PaddleOCR-VL-1.5 (0.9B): шесть режимов - текст, таблицы, формулы, графики, spotting, печати
Qianfan-OCR (4.7B): первое место на OmniDocBench, 192 языка
DeepSeek-OCR (4B): пять режимов разрешения на выбор
NuMarkdown-8B (8B): показывает ход рассуждений перед ответом
DoTS.ocr (1.7B): сотня языков из коробки
⚙️ Как это работает:
Одна команда
hf jobs uv run с флагом железа и ссылкой на скрипт. Модель запускается в облаке HF сама, батчи обрабатываются, результат складывается обратно на HF Hub. К исходным колонкам добавляется колонка с markdown.💼 Когда пригодится:
Любой сценарий, где нужно оаспознать большое количетво сканов или PDF.
Не нужно покупать GPU или поднимать инфраструктуру. Кинули датасет, выбрали модель под задачу и бюджет, через час получили готовый текст.
#OCR #HuggingFace #VLM #документы #AI
------
@tsingular
❤10✍7🔥2⚡1
Label Studio научилась размечать документы в DocLang
IBM вместе с HumanSignal выкатили связку для работы с документами: у Label Studio появился интерфейс разметки прямо на страницах и нативный экспорт в DocLang. Это первая платформа разметки с поддержкой открытого стандарта.
🔧 Как устроено:
В чём засада: публичные датасеты никогда не похожи на ваши настоящие бумаги. Поэтому цикл оптимизировали под свои документы:
собираете выборку из своих счетов, договоров и отчётов
Docling через бекенд IBM watsonx сам делает первичную разметку
человек правит предсказание: рамки элементов, порядок чтения, таблицы со склеенными ячейками
вкладка DocLang в реальном времени показывает XML и превью страницы
на выходе архив .dclx со структурой и картинками страниц
Поправить готовое предсказание заметно быстрее, чем размечать с чистого листа.
📊 Зачем оно нужно:
Итог разметки: ваш собственный золотой набор сразу под две задачи.
Первая: гонять каждую новую версию Docling на своих документах и ловить регрессии до продакшна.
Вторая: собирать примеры под файнтюн своих форматов.
Бонусом: бумаги с низкой уверенностью уходят человеку на проверку и возвращаются правильным DocLang.
🌐 Контекст:
DocLang это открытый стандарт представления документов от LF AI & Data, запущенный в июне.
Стандарт поддержан IBM, NVIDIA, Red Hat, ABBYY и HumanSignal.
И теперь у него появился первая независимая реализация в Starter Cloud и Enterprise подписках у Label Studio с пробным периодом в две недели.
Новый аккаунт watsonx даёт 30 дней и 5000 страниц бесплатно.
📎 https://humansignal.com/blog/docling-labelstudio/
Понятно, что у нас это не применишь, но интересно как вектор развития и поскольку стандарт открытый, - можно залабать свою версию.
#DocLang #разметка #OCR #Docling #IBM #LabelStudio
———
@tsingular
IBM вместе с HumanSignal выкатили связку для работы с документами: у Label Studio появился интерфейс разметки прямо на страницах и нативный экспорт в DocLang. Это первая платформа разметки с поддержкой открытого стандарта.
🔧 Как устроено:
В чём засада: публичные датасеты никогда не похожи на ваши настоящие бумаги. Поэтому цикл оптимизировали под свои документы:
собираете выборку из своих счетов, договоров и отчётов
Docling через бекенд IBM watsonx сам делает первичную разметку
человек правит предсказание: рамки элементов, порядок чтения, таблицы со склеенными ячейками
вкладка DocLang в реальном времени показывает XML и превью страницы
на выходе архив .dclx со структурой и картинками страниц
Поправить готовое предсказание заметно быстрее, чем размечать с чистого листа.
📊 Зачем оно нужно:
Итог разметки: ваш собственный золотой набор сразу под две задачи.
Первая: гонять каждую новую версию Docling на своих документах и ловить регрессии до продакшна.
Вторая: собирать примеры под файнтюн своих форматов.
Бонусом: бумаги с низкой уверенностью уходят человеку на проверку и возвращаются правильным DocLang.
🌐 Контекст:
DocLang это открытый стандарт представления документов от LF AI & Data, запущенный в июне.
Стандарт поддержан IBM, NVIDIA, Red Hat, ABBYY и HumanSignal.
И теперь у него появился первая независимая реализация в Starter Cloud и Enterprise подписках у Label Studio с пробным периодом в две недели.
Новый аккаунт watsonx даёт 30 дней и 5000 страниц бесплатно.
📎 https://humansignal.com/blog/docling-labelstudio/
Понятно, что у нас это не применишь, но интересно как вектор развития и поскольку стандарт открытый, - можно залабать свою версию.
#DocLang #разметка #OCR #Docling #IBM #LabelStudio
———
@tsingular
❤3🔥3⚡2✍1