📱Polars.

Polars — это потрясающе быстрая библиотека DataFrame для работы со структурированными данными. Ядро написано на Rust и доступна для Python, R и NodeJS.

🧩Ключевые особенности:

🔜Быстрая: Написана с нуля на Rust.

🔜I/O: Первоклассная поддержка всех общих слоев хранения данных: локальные, облачные хранилища и базы данных.

🔜Интуитивный API: Пишите запросы так, как они были задуманы. Polars сам определит наиболее эффективный способ выполнения с помощью оптимизатора запросов.

🔜Out of Core: Стриминговый API позволяет обрабатывать результаты без необходимости загружать все данные в память одновременно.

🔜Параллельность: Использует мощность вашего компьютера, разделяя рабочую нагрузку между доступными ядрами ЦП без дополнительной настройки.

🔜Векторизованный движок запросов: Использует Apache Arrow, колоннарный формат данных, для векторной обработки запросов и SIMD для оптимизации использования ЦП.

❓Что такое DataFrame?

DataFrame — это двумерная структура данных, полезная для манипуляции и анализа данных. С метками для строк и столбцов, каждый столбец может содержать разные типы данных, что значительно упрощает выполнение сложных операций, таких как объединение и агрегация. Благодаря своей гибкости и интуитивному способу хранения и работы с данными, DataFrame становятся все более популярными в современной аналитике данных и инженерии.

#Polars #DataFrame #Rust #Python #R #NodeJS #BigData #DataScience #Программирование #ApacheArrow #SIMD #ОптимизацияЗапросов #Параллельность #OutOfCore #I_O

📱Ссылка на репозиторий:
https://github.com/pola-rs/polars

📱GeoPandas.

GeoPandas — это проект, который добавляет поддержку географических данных к объектам pandas.

📍В настоящее время реализованы типы GeoSeries и GeoDataFrame, которые являются подклассами pandas.Series и pandas.DataFrame соответственно. Объекты GeoPandas могут работать с геометрическими объектами Shapely и выполнять геометрические операции.

📍Геометрические операции GeoPandas являются картезианскими. Система координат может храниться в качестве атрибута объекта и автоматически устанавливается при загрузке данных из файла.

📍Объекты можно преобразовывать в новые системы координат с помощью метода to_crs(). В настоящее время нет строгого контроля за соответствием систем координат при выполнении операций, но это может измениться в будущем.

#GeoPandas #Python #DataScience #Геоданные #GIS #NumFOCUS #OpenSource #DataFrame #GeoSeries #Shapely

📱Ссылка на репозиторий:
https://github.com/geopandas/geopandas

📱Fenic.

fenic — это фреймворк на Python (вдохновлён PySpark) для построения AI и агентных приложений.
Он объединяет привычные DataFrame-операции с семантическим интеллектом и оптимизацией под работу с LLM.

🔹Возможности:

🔘Преобразование структурированных и неструктурированных данных в инсайты.

🔘Семантические операторы: semantic.extract, semantic.join, semantic.classify и др.

🔘Поддержка markdown, транскриптов, JSON и сложных текстовых форматов.

🔘Батч-инференс через любых LLM-провайдеров (OpenAI, Anthropic, Gemini, Cohere).

🔘Встроенный ретрай, лимиты, подсчёт токенов и стоимости

❓Зачем использовать fenic?

🔘Делает пайплайны для AI такими же надёжными, как традиционные дата-пайплайны.

🔘Удобен для построения агентных систем и сложных рабочих процессов.

🔘Поддерживает SQL-стиль запросов и API, знакомый по pandas / PySpark.

🚀Установка:

pip install fenic

#Python #AI #LLM #DataFrame #Fenic #PySpark #NLP #DataEngineering #MachineLearning

📱Ссылка на репозиторий:
https://github.com/typedef-ai/fenic