📱Compress_json.

compress_json – это удобная библиотека для чтения и записи сжатых JSON-файлов с автоматическим определением формата. Основана на идеях compress_pickle.

🔹Поддерживаемые форматы сжатия:

🔘gzip.

🔘bz2.

🔘lzma (или xz).

🔺Пример использования:

import compress_json

D = {"A": {"B": "C"}}

compress_json.dump(D, "data.json.gz")  # Сжатие в gzip
D1 = compress_json.load("data.json.gz")  # Загрузка обратно

assert D == D1

🔻Дополнительные возможности:

🔘local_load / local_dump – загрузка и сохранение в текущей директории.

🔘use_cache=True – загрузка файлов из RAM-кэша для повышения производительности.

🔘compression_kwargs / json_kwargs – передача параметров в JSON и алгоритм сжатия.

✅Сжимайте JSON-файлы легко и эффективно!

#Python #JSON #Compression #pip #DataScience

📱Ссылка на репозиторий:
https://github.com/LucaCappelletti94/compress_json

📱FastLanes.

FastLanes — это сверхбыстрый, независимый от внешних библиотек формат хранения табличных данных с открытым исходным кодом и поддержкой Python, C++ и Rust.

🔹Особенности:

🔘Без зависимостей, полностью автономен.

🔘SIMD-дружественный (но без ручных SIMD-инструкций).

🔘40% лучшее сжатие по сравнению с Parquet.

🔘Чётко описанная структура формата + типизированное API.

🔘Официальная документация и публикации в PVLDB, SIGMOD, DaMoN.

🔻Пример:

import pyfastlanes

conn = pyfastlanes.connect()
conn.inline_footer().read_csv("data/csv_dir").to_fls("data.fls")

reader = conn.read_fls("data.fls")
reader.to_csv("decoded.csv")

#FastLanes #BigData #Compression #ParquetAlternative #Python #Rust #Cplusplus #DataEngineering #OpenSource #GPU #SIMD #DataProcessing #SIGMOD #VLDB #CSV #FLS #Разработка #Производительность #НаучныеИсследования

📱Ссылка на репозиторий:
https://github.com/cwida/FastLanes