📱PDF-Extract-Kit.

PDF-Extract-Kit — инструмент для качественного извлечения контента из PDF документов.

📄PDF документы содержат огромное количество информации, но извлечение качественного контента из PDF является сложной задачей. Чтобы справиться с этим, мы разделили задачу извлечения контента на несколько компонентов:

🔘Определение макета: использование модели LayoutLMv3 для обнаружения регионов, таких как изображения, таблицы, заголовки, текст и т.д.;

🔘Обнаружение формул: использование YOLOv8 для обнаружения формул, включая встроенные и изолированные формулы;

🔘Распознавание формул: использование UniMERNet для распознавания формул;

🔘Оптическое распознавание символов: использование PaddleOCR для распознавания текста.

#Python #PDF #LayoutDetection #FormulaDetection #OCR #DocumentProcessing #AI #MachineLearning #LayoutLMv3 #YOLOv8 #UniMERNet #PaddleOCR

📱Ссылка на репозиторий:
https://github.com/opendatalab/PDF-Extract-Kit

📱Zerox.

Zerox предлагает простой и понятный способ преобразования документов в текст для обработки ИИ.

✅Поддерживаются сложные макеты, таблицы и графики – всё, что нужно для визионных моделей!

🔧Принцип работы:

🔘Загрузите файл (PDF, DOCX, изображение и т.д.).

🔘Сконвертируйте его в набор изображений.

🔘Отправьте каждое изображение в GPT, чтобы получить Markdown.

🔘Объедините ответы и получите готовый Markdown.

✅Поддержка моделей OpenAI, Azure, Anthropic, Gemini и других провайдеров для точного OCR в формате Markdown.

#OCR #AI #ZeroxOCR #Документы #GPT #Python #Node #Markdown #AIАнализ #Таблицы #Графики

📱Ссылка на репозиторий:
https://github.com/getomni-ai/zerox

📱MarkItDown.

MarkItDown — это Python утилита для конвертации файлов в Markdown.

✅MarkItDown упрощает преобразование различных форматов файлов в Markdown для индексации, анализа текста и других задач.

🟢Поддерживаемые форматы:

🔘PDF
🔘PowerPoint
🔘Word
🔘Excel
🔘Изображения (метаданные EXIF и OCR)
🔘Аудио (метаданные EXIF и распознавание речи)
🔘HTML
🔘Текстовые форматы (CSV, JSON, XML)
🔘ZIP-архивы (обработка содержимого архива)

💡Пример использования:

Для конвертации PDF в Markdown:

markitdown path-to-file.pdf > document.md

Или через передачу содержимого:

cat path-to-file.pdf | markitdown

#MarkItDown #Python #Markdown #PyPI #Файлы #Конвертация #ТекстовыйАнализ #OCR

📱Ссылка на репозиторий:
https://github.com/microsoft/markitdown

📱ExtractThinker.

ExtractThinker – это гибкий инструмент для извлечения и классификации структурированных данных из документов с помощью LLM. Работает как ORM, обеспечивая бесшовные процессы обработки документов.

🔹Ключевые возможности:

🔘Гибкая загрузка документов – поддержка Tesseract OCR, Azure Form Recognizer, AWS Textract, Google Document AI и других сервисов.

🔘Настраиваемые контракты – используйте Pydantic для точного извлечения данных.

🔘Продвинутая классификация – настройка стратегий для классификации документов и их разделов.

🔘 Асинхронная обработка – эффективная работа с большими документами.

🔘Поддержка множества форматов – PDF, изображения, таблицы и многое другое.

🔘ORM-подход – удобное взаимодействие с документами и LLM в стиле ORM.

🔘Гибкие стратегии разбиения – обработка постранично или целиком.

🔘Интеграция с LLM – поддержка OpenAI, Anthropic, Cohere и других провайдеров.

🔘Развитие с участием сообщества – вдохновлено LangChain, с упором на интеллектуальную обработку документов.

🔥 Оптимизируйте работу с документами уже сегодня!

#AI #LLM #ExtractThinker #OCR #DocumentProcessing #MachineLearning #Automation

📱Ссылка на репозиторий:
https://github.com/enoch3712/ExtractThinker

📱Kreuzberg.

Kreuzberg — это библиотека для простого и удобного извлечения текста из PDF-файлов, изображений и офисных документов без лишней возни.

🔹Возможности:

🔘Извлечение текста из PDF, изображений, офисных документов и др.

🔘Поддержка асинхронности (anyio) и аннотаций типов.

🔘Продвинутая обработка ошибок для лёгкого отладки.

#️⃣Поддерживаемые форматы:

PDF, DOCX, PPTX, ODT, RTF, JPEG, PNG, TIFF, BMP, GIF, WebP, CSV, TSV, HTML, TXT, Markdown, LaTeX и др.

🎯Планы развития:

🔘Улучшение извлечения таблиц из PDF.

🔘Извлечение метаданных.

🔘Поддержка дополнительных форматов.

#Python #PDF #OCR #TextExtraction #Kreuzberg #Async #OpenSource #DevTools

📱Ссылка на репозиторий:
https://github.com/Goldziher/kreuzberg

📱OCRmyPDF.

OCRmyPDF — это инструмент для добавления текстового слоя (OCR) в отсканированные PDF-файлы, что делает их доступными для поиска и копирования.

🔹Основные возможности:

🔘Создание PDF/A с возможностью поиска.

🔘Точный текстовый слой под изображением.

🔘Сохранение оригинального разрешения.

🔘Оптимизация размера PDF (часто меньше исходного).

🔘Распознавание более 100 языков (на базе Tesseract).

🔘Автоматический поворот страниц и исправление перекосов.

🔘Параллельная обработка с использованием нескольких ядер.

🔘Проверка валидности PDF на входе и выходе.

❗️Работает на Linux, Windows, macOS и FreeBSD.

#OCR #PDF #OCRmyPDF #Tesseract #Linux #Windows #macOS #PDFtools #Automation #OpenSource

📱Ссылка на репозиторий:
https://github.com/ocrmypdf/OCRmyPDF

📱olmOCR.

olmOCR — это инструмент для обучения языковых моделей работе с PDF-документами.

🔹Особенности и возможности:

🔘Парсинг текста: Инновационная стратегия запроса для качественного извлечения естественного текста с использованием ChatGPT 4o (buildsilver.py).

🔘Оценка версий: Инструмент для побочного сравнения различных версий пайплайнов (runeval.py).

🔘Фильтрация: Базовая фильтрация по языкам и удаление SEO-спама (filter.py).

🔘Дообучение: Код дообучения для моделей Qwen2-VL и Molmo-O (train.py).

🔘Масштабирование: Обработка миллионов PDF с помощью дообученной модели и Sglang (pipeline.py).

🔘Визуализация: Просмотр документов Dolma, созданных из PDF (dolmaviewer.py).

#olmOCR #AI #PDF #MachineLearning #ChatGPT #NLP #DeepLearning #TechTools #OpenSource #DataScience #OCR

📱Ссылка на репозиторий:
https://github.com/allenai/olmocr

📱PDF Craft.

PDF Craft — превращает сканированные PDF-файлы в различные форматы с помощью OCR + LLM.

🔹Что делает PDF Craft:

🔘Читает PDF по страницам.

🔘Удаляет хедеры, футеры, сноски и номера страниц.

🔘Использует OnnxOCR для распознавания.

🔘Определяет порядок чтения с layoutreader.

🔘Собирает связный текст, даже между страницами.

🔘Конвертирует в Markdown или EPUB.

🔘Генерирует оглавление и главы.

🔘Исправляет ошибки OCR с помощью LLM (DeepSeek).

❗️Поддерживает локальное ускорение через GPU.

#PDFCraft #OCR #EPUB #Markdown #OnnxOCR #PythonTools #AIinPublishing #DeepSeek #LLM #BookParsing #PythonOCR #DocumentAI #AcademicTools #PDFtoText #OpenSource #Python3

📱Ссылка на репозиторий:
https://github.com/oomol-lab/pdf-craft

📱DocStrange.

DocStrange — это универсальный инструмент для извлечения и конвертации данных из документов!

🔹Основные возможности:

🔘Умное извлечение данных (структурированный JSON, поля по схеме).

🔘Распознавание таблиц и изображений.

🔘Интеграция с LLM (оптимизировано для ИИ-обработки).

🔘Готовые демо и Python-библиотека (pip install docstrange).

🔻Примеры использования:

1️⃣Конвертация документа в Markdown.

from docstrange import DocStrange

ds = DocStrange()
markdown_text = ds.to_markdown("example.pdf")
print(markdown_text)

2️⃣Извлечение всех данных в JSON.

data = ds.to_json("example.docx")
print(data)

3️⃣Извлечение конкретных полей.

fields = ds.extract_fields("invoice.pdf", fields=["Дата", "Сумма", "Номер"])
print(fields)

4️⃣Работа с пользовательскими схемами JSON.

schema = {
    "invoice_number": "Номер",
    "total_amount": "Сумма",
    "date": "Дата"
}
structured_data = ds.to_json("invoice.pdf", schema=schema)
print(structured_data)

#DocStrange #Python #OCR #Документы #Конвертация #CloudProcessing #LocalProcessing #Markdown #JSON #CSV #HTML #ИнтеллектуальноеИзвлечение #LLM #Демо #OpenSource #MIT

📱Ссылка на репозиторий:
https://github.com/NanoNets/docstrange

📱MinerU.

MinerU 2.5 — революционный инструмент для интеллектуального парсинга документов и PDF, превосходящий даже GPT-4o, Gemini 2.5 Pro и Qwen2.5-VL-72B в бенчмарке OmniDocBench.

✅Созданный командой OpenDataLab, этот open-source проект превращает PDF-файлы в машинно-читаемые форматы (Markdown, JSON и др.) с высокой точностью и скоростью.

🔹Основные возможности:

🔘Мультимодальная архитектура с 1.2B параметров — SOTA-результаты при сверхэффективности

🧾 Распознавание структуры документа: заголовки, таблицы, формулы, изображения.

🔘Конвертация формул в LaTeX, таблиц — в HTML.

🔘Распознавание макета, порядка чтения и даже сложных математических формул.

🔘OCR на 84 языках, поддержка CPU/GPU/NPU.

🔘Поддержка CLI, API, WebUI, Docker и Gradio.

🚀Установка:

uv pip install -U "mineru[core]"

#Python #AI #OCR #PDFParsing #MinerU #OpenDataLab #LLM #Gemini25 #GPT4o #Qwen25 #DocumentAI #ComputerVision #OpenSource #DeepLearning #LaTeX #TableRecognition #AIResearch

📱Ссылка на репозиторий:
https://github.com/opendatalab/mineru

📱Chandra.

Chandra — это точная система OCR, которая преобразует изображения и PDF в структурированные HTML, Markdown или JSON с сохранением макета документа.

🔹Особенности Chandra:

🔘Конвертация документов в Markdown/HTML/JSON с точным расположением элементов.

🔘Поддержка рукописного текста и сложных форм с чекбоксами.

🔘Распознаёт таблицы, формулы, схемы и диаграммы.

🔘Поддерживает 40+ языков.

🔘Работает в двух режимах: локально (HuggingFace) или удалённо (vLLM сервер).

🔘Экспорт изображений, метаданных и структурированных данных.

🔘Имеет CLI и Streamlit Web App для удобного использования.

🔻Пример запуска:

pip install chandra-ocr
chandra input.pdf ./output --method hf

✅Chandra делает возможным превращение любых документов — от сканов до рукописей — в точную цифровую структуру.

#Chandra #OCR #AI #Python #MachineLearning #DocumentAI #vLLM #HuggingFace #OpenSource

📱Ссылка на репозиторий:
https://github.com/datalab-to/chandra

📱Pix2Text.

Pix2Text — это свободная и открытая Python-библиотека для интеллектуального OCR. В отличие от простых инструментов для распознавания текста, она не просто извлекает слова, а понимает структуру сложных документов.

🔹Главные возможности:

🔘Распознаёт текст (80+ языков), формулы, таблицы, изображения.

🔘Преобразует сложные документы и целые PDF в Markdown.

🔘Объединяет всё в структурированный текст.

🔘Работает из Python, из командной строки или как HTTP-сервис.

🔘Есть бесплатный онлайн-сервис и демо.

#Pix2Text #OCR #РаспознаваниеТекста #МатематическиеФормулы #ИИ #AI #Python #OpenSource #Mathpix #PDF #Markdown #Нейросети #DataScience

📱Ссылка на репозиторий:
https://github.com/breezedeus/Pix2Text

📱Unlimited OCR.

Unlimited OCR — это продвинутая ИИ-модель для распознавания текста и разбора документов от компании Baidu, открывающая эру комплексного «one-shot» парсинга длинных многостраничных документов (One-shot Long-horizon Parsing).

Проект развивает архитектуру Deepseek-OCR и предлагает мощное решение для перевода сканов, изображений и PDF-файлов в структурированный текстовый вид без потери контекста на стыке страниц.

🔹Главные фичи и возможности:

🔘Многостраничный парсинг «из коробки»: Модель нативно поддерживает обработку PDF и многостраничных документов с длиной контекста до 32 768 токенов. Она эффективно решает проблему зацикливания текста с помощью кастомных процессоров логитов (no_repeat_ngram_size).

🔘Два режима обработки изображений:

✔️base — стандартный режим для документов и многостраничных PDF (разрешение 1024x1024).

✔️gundam — продвинутый режим с умным кроппингом (640x640) для точечного извлечения данных со сложных картинок.

🔘Максимальная скорость инференса: Помимо стандартной библиотеки transformers, модель поддерживает интеграцию с ведущими движками высокопроизводительного ИИ-вывода — vLLM и SGLang (с поддержкой FlashAttention-3).

🔘Готовность к продакшну: Разработчики подготовили официальные Docker-образы под свежие версии CUDA (включая оптимизацию под архитектуру NVIDIA Hopper).

🔻Пример использования (Hugging Face Transformers):

Минимальный стек для запуска требует Python 3.12, CUDA 12.9+ и PyTorch 2.10.

import torch
from transformers import AutoModel, AutoTokenizer

model_name = 'baidu/Unlimited-OCR'
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModel.from_pretrained(
    model_name,
    trust_remote_code=True,
    torch_dtype=torch.bfloat16
).eval().cuda()

# Распознавание документа за один вызов
model.infer(
    tokenizer,
    prompt='<image>document parsing.',
    image_file='scan.jpg',
    output_path='./output',
    crop_mode=True,
    max_length=32768
)

Проект полностью открытый. Код, веса модели и научная статья уже доступны на Hugging Face, arXiv и ModelScope, а протестировать работу вживую можно в интерактивном демо на Hugging Face Spaces.

#Baidu #UnlimitedOCR #OCR #DeepseekOCR #vLLM #SGLang #ComputerVision #AI #OpenSource #Python

📱Ссылка на репозиторий:
https://github.com/baidu/Unlimited-OCR