📱Polars.

Polars — это потрясающе быстрая библиотека DataFrame для работы со структурированными данными. Ядро написано на Rust и доступна для Python, R и NodeJS.

🧩Ключевые особенности:

🔜Быстрая: Написана с нуля на Rust.

🔜I/O: Первоклассная поддержка всех общих слоев хранения данных: локальные, облачные хранилища и базы данных.

🔜Интуитивный API: Пишите запросы так, как они были задуманы. Polars сам определит наиболее эффективный способ выполнения с помощью оптимизатора запросов.

🔜Out of Core: Стриминговый API позволяет обрабатывать результаты без необходимости загружать все данные в память одновременно.

🔜Параллельность: Использует мощность вашего компьютера, разделяя рабочую нагрузку между доступными ядрами ЦП без дополнительной настройки.

🔜Векторизованный движок запросов: Использует Apache Arrow, колоннарный формат данных, для векторной обработки запросов и SIMD для оптимизации использования ЦП.

❓Что такое DataFrame?

DataFrame — это двумерная структура данных, полезная для манипуляции и анализа данных. С метками для строк и столбцов, каждый столбец может содержать разные типы данных, что значительно упрощает выполнение сложных операций, таких как объединение и агрегация. Благодаря своей гибкости и интуитивному способу хранения и работы с данными, DataFrame становятся все более популярными в современной аналитике данных и инженерии.

#Polars #DataFrame #Rust #Python #R #NodeJS #BigData #DataScience #Программирование #ApacheArrow #SIMD #ОптимизацияЗапросов #Параллельность #OutOfCore #I_O

📱Ссылка на репозиторий:
https://github.com/pola-rs/polars

📱FastLanes.

FastLanes — это сверхбыстрый, независимый от внешних библиотек формат хранения табличных данных с открытым исходным кодом и поддержкой Python, C++ и Rust.

🔹Особенности:

🔘Без зависимостей, полностью автономен.

🔘SIMD-дружественный (но без ручных SIMD-инструкций).

🔘40% лучшее сжатие по сравнению с Parquet.

🔘Чётко описанная структура формата + типизированное API.

🔘Официальная документация и публикации в PVLDB, SIGMOD, DaMoN.

🔻Пример:

import pyfastlanes

conn = pyfastlanes.connect()
conn.inline_footer().read_csv("data/csv_dir").to_fls("data.fls")

reader = conn.read_fls("data.fls")
reader.to_csv("decoded.csv")

#FastLanes #BigData #Compression #ParquetAlternative #Python #Rust #Cplusplus #DataEngineering #OpenSource #GPU #SIMD #DataProcessing #SIGMOD #VLDB #CSV #FLS #Разработка #Производительность #НаучныеИсследования

📱Ссылка на репозиторий:
https://github.com/cwida/FastLanes