📱CleverCSV.

CleverCSV — это пакет на Python, который призван решить некоторые проблемы CSV файлов, сохраняя при этом их преимущества.

✅Пакет автоматически определяет (с высокой точностью) формат (диалект) CSV файлов, что упрощает загрузку файла без необходимости его ручной проверки.

✅CleverCSV основан на научных данных. Были изучены тысячи реальных CSV файлов, чтобы найти надежный способ автоматического определения диалекта файла. Это может показаться простой задачей, но для компьютера CSV файл — это просто длинная строка, и каждый диалект даст вам некоторую таблицу.

✅В CleverCSV используется метод, основанный на паттернах длины строк и типах данных полученных ячеек. С этим методом достигается 97% точности в определении диалектов, что на 21% лучше для нестандартных (неупорядоченных) CSV файлов по сравнению со стандартной библиотекой Python.

💡CleverCSV — отличная замена стандартному пакету Python csv с улучшенным определением диалектов для неупорядоченных CSV файлов. Также включает удобный инструмент командной строки, который может стандартизировать неупорядоченные файлы или генерировать Python код для их импорта.

#Python #CSV #CleverCSV #DataScience #MachineLearning #DataCleaning #DataWrangling #OpenSource #DataAnalysis #DataEngineering

📱Ссылка на репозиторий:
https://github.com/alan-turing-institute/CleverCSV

📱FastLanes.

FastLanes — это сверхбыстрый, независимый от внешних библиотек формат хранения табличных данных с открытым исходным кодом и поддержкой Python, C++ и Rust.

🔹Особенности:

🔘Без зависимостей, полностью автономен.

🔘SIMD-дружественный (но без ручных SIMD-инструкций).

🔘40% лучшее сжатие по сравнению с Parquet.

🔘Чётко описанная структура формата + типизированное API.

🔘Официальная документация и публикации в PVLDB, SIGMOD, DaMoN.

🔻Пример:

import pyfastlanes

conn = pyfastlanes.connect()
conn.inline_footer().read_csv("data/csv_dir").to_fls("data.fls")

reader = conn.read_fls("data.fls")
reader.to_csv("decoded.csv")

#FastLanes #BigData #Compression #ParquetAlternative #Python #Rust #Cplusplus #DataEngineering #OpenSource #GPU #SIMD #DataProcessing #SIGMOD #VLDB #CSV #FLS #Разработка #Производительность #НаучныеИсследования

📱Ссылка на репозиторий:
https://github.com/cwida/FastLanes

📱DocStrange.

DocStrange — это универсальный инструмент для извлечения и конвертации данных из документов!

🔹Основные возможности:

🔘Умное извлечение данных (структурированный JSON, поля по схеме).

🔘Распознавание таблиц и изображений.

🔘Интеграция с LLM (оптимизировано для ИИ-обработки).

🔘Готовые демо и Python-библиотека (pip install docstrange).

🔻Примеры использования:

1️⃣Конвертация документа в Markdown.

from docstrange import DocStrange

ds = DocStrange()
markdown_text = ds.to_markdown("example.pdf")
print(markdown_text)

2️⃣Извлечение всех данных в JSON.

data = ds.to_json("example.docx")
print(data)

3️⃣Извлечение конкретных полей.

fields = ds.extract_fields("invoice.pdf", fields=["Дата", "Сумма", "Номер"])
print(fields)

4️⃣Работа с пользовательскими схемами JSON.

schema = {
    "invoice_number": "Номер",
    "total_amount": "Сумма",
    "date": "Дата"
}
structured_data = ds.to_json("invoice.pdf", schema=schema)
print(structured_data)

#DocStrange #Python #OCR #Документы #Конвертация #CloudProcessing #LocalProcessing #Markdown #JSON #CSV #HTML #ИнтеллектуальноеИзвлечение #LLM #Демо #OpenSource #MIT

📱Ссылка на репозиторий:
https://github.com/NanoNets/docstrange