📱ScrapeGraphAI.

ScrapeGraphAI – это библиотека на Python для веб-скрейпинга, которая использует LLM и логику прямых графов для создания скрейпинговых пайплайнов для веб-сайтов и локальных документов (XML, HTML, JSON и т.д.).

Просто укажите, какую информацию вы хотите извлечь, и библиотека сделает все за вас!

🔗Использование:
Существует несколько стандартных пайплайнов для извлечения информации с веб-сайта (или локального файла):

🔹 SmartScraperGraph: одностраничный скрейпер, который требует только пользовательского запроса и исходного файла;

🔹 SearchGraph: многопостраничный скрейпер, который извлекает информацию из топ n результатов поиска в поисковой системе;

🔹 SpeechGraph: одностраничный скрейпер, который извлекает информацию с веб-сайта и генерирует аудиофайл;

🔹 ScriptCreatorGraph: одностраничный скрейпер, который извлекает информацию с веб-сайта и генерирует Python-скрипт;

🔹 SmartScraperMultiGraph: многопостраничный скрейпер, который извлекает информацию с нескольких страниц по одному запросу и списку источников;

🔹 ScriptCreatorMultiGraph: многопостраничный скрейпер, который генерирует Python-скрипт для извлечения информации с нескольких страниц по одному запросу и списку источников.

Можно использовать различные LLM через API, такие как OpenAI, Groq, Azure и Gemini, или локальные модели, используя Ollama.

✅Начните пользоваться ScrapeGraphAI уже сегодня и упростите процесс извлечения данных!

#ScrapeGraphAI #WebScraping #Python #DataExtraction #AI #MachineLearning #BigData #Automation #Tech #Innovation #LLM #APIs #OpenAI #Azure #Groq #Gemini #Ollama

📱Ссылка на репозиторий:
https://github.com/VinciGit00/Scrapegraph-ai

📱Polars.

Polars — это потрясающе быстрая библиотека DataFrame для работы со структурированными данными. Ядро написано на Rust и доступна для Python, R и NodeJS.

🧩Ключевые особенности:

🔜Быстрая: Написана с нуля на Rust.

🔜I/O: Первоклассная поддержка всех общих слоев хранения данных: локальные, облачные хранилища и базы данных.

🔜Интуитивный API: Пишите запросы так, как они были задуманы. Polars сам определит наиболее эффективный способ выполнения с помощью оптимизатора запросов.

🔜Out of Core: Стриминговый API позволяет обрабатывать результаты без необходимости загружать все данные в память одновременно.

🔜Параллельность: Использует мощность вашего компьютера, разделяя рабочую нагрузку между доступными ядрами ЦП без дополнительной настройки.

🔜Векторизованный движок запросов: Использует Apache Arrow, колоннарный формат данных, для векторной обработки запросов и SIMD для оптимизации использования ЦП.

❓Что такое DataFrame?

DataFrame — это двумерная структура данных, полезная для манипуляции и анализа данных. С метками для строк и столбцов, каждый столбец может содержать разные типы данных, что значительно упрощает выполнение сложных операций, таких как объединение и агрегация. Благодаря своей гибкости и интуитивному способу хранения и работы с данными, DataFrame становятся все более популярными в современной аналитике данных и инженерии.

#Polars #DataFrame #Rust #Python #R #NodeJS #BigData #DataScience #Программирование #ApacheArrow #SIMD #ОптимизацияЗапросов #Параллельность #OutOfCore #I_O

📱Ссылка на репозиторий:
https://github.com/pola-rs/polars

📱Herbie.

Herbie — это Python-пакет, который загружает архивные данные численного прогноза погоды (NWP) из различных облачных архивов.

✅Данные NWP распространяются в формате GRIB2, который Herbie читает с использованием xarray+cfgrib. Herbie также предоставляет дополнительные функции для визуализации и извлечения данных.

🧩Herbie также может загружать и читать данные из:

🔘High Resolution Rapid Refresh (HRRR) | HRRR-Alaska
🔘Rapid Refresh (RAP)
🔘Global Forecast System (GFS)
🔘Global Ensemble Forecast System (GEFS)
🔘ECMWF Open Data Forecasts (IFS и AIFS)
🔘Navy Global Environmental Model (NAVGEM)
🔘North American Mesoscale Model (NAM)
🔘National Blend of Models (NBM)
🔘Rapid Refresh Forecast System (RRFS) прототип
🔘Real-Time/Un-Restricted Mesoscale Analysis (RTMA/URMA)
🔘Hurricane Analysis And Forecast System (HAFS)
🔘High Resolution Deterministic Prediction System (HRDPS)

✅Многие из этих данных доступны благодаря программе NOAA Open Data Dissemination (NODD) (ранее Big Data Program), которая сделала погодные данные более доступными, чем когда-либо прежде.

#Herbie #Python #NWP #WeatherForecast #GRIB2 #xarray #cfgrib #NOAA #WeatherData #BigData #DataScience #HRRR #RAP #GFS #GEFS #ECMWF #NAVGEM #NAM #NBM #RRFS #RTMA #URMA #HAFS #HRDPS #Погода #Прогноз #ПрогнозПогоды

📱Ссылка на репозиторий:
https://github.com/blaylockbk/Herbie

📱Ryp.

ryp — это легковесная, но мощная библиотека для Python, которая открывает новые возможности для работы с R.

✅Она позволяет легко запускать R-код прямо внутри Python, обеспечивая мгновенную передачу больших наборов данных (NumPy/pandas/polars) между Python и R без записи на диск.

✅С ryp можно интерактивно работать в обоих языках одновременно, что упрощает анализ данных и ускоряет рабочие процессы.

❓Почему ryp?

В отличие от популярной библиотеки rpy2, ryp обеспечивает:

🔘Повышенную стабильность и простоту API.
🔘Интерактивные вывод R-переменных, как в самом R.
🔘Полнофункциональный терминал R внутри Python.
🔘Построение графиков прямо в Jupyter с пакетом svglite.
🔘Молниеносное преобразование данных с Arrow.
🔘Поддержку всех типов данных NumPy, pandas и polars.
🔘Полноценную поддержку Windows.

#DataScience #Python #RStats #PythonInR #BigData #MachineLearning #DataVisualization #Jupyter #NumPy #pandas #polars #Arrow

📱Ссылка на репозиторий:
https://github.com/Wainberg/ryp

📱ClickPy.

ClickPy — новый сервис аналитики Python пакетов с использованием ClickHouse.

❓Хотите узнать, насколько популярен ваш Python-пакет? Как часто его устанавливают и в каких странах?

❓Или, может быть, интересно, какие пакеты сейчас "на волне"?

🔻ClickPy на базе ClickHouse предоставляет аналитические данные о скачиваниях PyPI пакетов в режиме реального времени. Всё это доступно как сервис, который можно запустить локально, и при этом полностью с открытым исходным кодом.

🔘Каждая установка Python-пакета, будь то pip install, создает запись, что даёт сотни миллиардов строк данных. В результате мы имеем крупнейший публичный набор данных BigQuery с более чем 700 миллиардами строк. Но есть свои нюансы:

🔘Скорость — BigQuery отлично подходит для сложного SQL, но менее удобен для быстрой аналитики.
Стоимость :) особенно если хочется предложить сервис бесплатно.

✅С ClickHouse мы можем предоставлять быстрый и доступный аналитический сервис.

🔹Возможности ClickPy:

🔘600+ миллиардов строк данных
🔘Почти 600 тысяч пакетов
🔘Аналитика через живые дашборды:

✔️Топовые пакеты и новые релизы.
✔️Восходящие звёзды — самые популярные новые пакеты за последние 6 месяцев.
✔️Требуют обновления — популярные пакеты без апдейтов за последние полгода.
✔️Горячие пакеты — изменения в скачиваниях за последние 6 месяцев.

#ClickPy #ClickHouse #Python #Аналитика #BigData #PyPI #PythonPackages #RealTimeAnalytics #PythonCommunity #DataScience #DevTools

📱Ссылка на репозиторий:
https://github.com/ClickHouse/clickpy

📱Preswald.

Preswald — это полнофункциональная платформа для построения, развертывания и управления интерактивными приложениями для работы с данными. В одном мощном SDK объединены загрузка, хранение, трансформация и визуализация данных.

🔹Особенности:

🔘Простота кода — мощные приложения с минимальным Python и SQL.

🔘Полный цикл — от загрузки и ETL до визуализации в одной платформе.

🔘Эффективность — без лишней сложности современных дата-стеков.

🔘Гибкость — подключение CSV, JSON, Parquet и SQL-баз за секунды.

🔘Кастомизация — изменяйте стиль и бренд через preswald.toml.

🔘Запуск в один клик — развертывание локально и в облаке за пару команд.

🔻Начало работы:

1️⃣Установите Preswald:

pip install preswald

2️⃣Создайте новый проект:

preswald init my_project
cd my_project

3️⃣Напишите первое приложение:

from preswald import text, view
import pandas as pd

text("# Добро пожаловать в Preswald")
df = pd.read_csv("data.csv")
view(df)

4️⃣Запустите приложение:

preswald run hello.py

#Preswald #Python #DataScience #SQL #MachineLearning #Cloud #ETL #NoCode #LowCode #BigData

📱Ссылка на репозиторий:
https://github.com/StructuredLabs/preswald

📱Tea-tasting.

tea-tasting — это Python-библиотека для статистического анализа A/B тестов, включающая:

🔘t-тест Стьюдента, Z-тест, бутстрап и квантильные метрики.

🔘Расширяемый API: добавляйте свои статистические тесты.

🔘Метод дельты для расчета метрик-отношений.

🔘Снижение дисперсии с помощью CUPED/CUPAC (в сочетании с методом дельты).

🔘Доверительные интервалы для абсолютных и относительных изменений.

🔘Проверка несоответствия пропорций выборок.

🔘Анализ мощности теста.

🔘Коррекция на множественные сравнения (FWER, FDR)

✅tea-tasting вычисляет статистику напрямую в таких хранилищах данных, как BigQuery, ClickHouse, DuckDB, PostgreSQL, Snowflake, Spark и другие, поддерживаемые Ibis — без необходимости загружать сырые данные в Python.

Поддерживаются датафреймы Narwhals: cuDF, Dask, Modin, pandas, Polars, PyArrow.

#Python #ABTesting #Statistics #DataScience #BigData #MachineLearning #OpenSource

📱Ссылка на репозиторий:
https://github.com/e10v/tea-tasting

📱Smallpond.

smallpond — это легковесный фреймворк для обработки данных на основе DuckDB и 3FS.

🔹Особенности:

🔘Высокопроизводительная обработка данных с использованием DuckDB.

🔘Масштабируемость для работы с петабайтными наборами данных.

🔘Простые операции без необходимости долгоживущих сервисов.

#smallpond #DataProcessing #DuckDB #BigData #Python #MachineLearning #Analytics #PyPI #OpenSource #TechTools

📱Ссылка на репозиторий:
https://github.com/deepseek-ai/smallpond

📱STUMPY.

STUMPY — это мощная и масштабируемая библиотека Python, которая вычисляет матрицу профиля временного ряда. Проще говоря, она автоматически находит ближайших соседей для каждой подпоследовательности, помогая решать сложные задачи анализа временных рядов.

❓Что можно делать с STUMPY?

🔘Поиск шаблонов (мотивов) — обнаружение повторяющихся последовательностей.

🔘Выявление аномалий — нахождение неожиданных (discord) сегментов.

🔘Обнаружение shapelet-фич — ключевых характеристик временных рядов.

🔘Семантическая сегментация — разбиение временного ряда на осмысленные части.

🔘Обработка потоковых данных — анализ данных в реальном времени.

🔘Быстрое приближенное вычисление матричных профилей.

🔘Создание временных цепочек — выявление последовательностей паттернов.

🔘Выбор оптимального окна анализа с pan matrix profiles.

#️⃣Пример использования STUMPY для 1D временных рядов:

import stumpy
import numpy as np

if __name__ == "__main__":
    your_time_series = np.random.rand(10000)  # Генерация случайного временного ряда
    window_size = 50  # Размер окна для поиска паттернов

    matrix_profile = stumpy.stump(your_time_series, m=window_size)  # Вычисление матричного профиля

❓Что делает этот код?

🔘Генерирует случайный временной ряд из 10 000 точек.

🔘Задает размер окна (длину подпоследовательностей) в 50 точек.

🔘Вычисляет матрицу профиля, которая поможет находить паттерны, аномалии и другие ключевые элементы.

#Python #STUMPY #TimeSeries #DataScience #MachineLearning #AnomalyDetection #PatternMining #BigData

📱Ссылка на репозиторий:
https://github.com/TDAmeritrade/stumpy

📱Aiopandas.

aiopandas — это легковесное расширение для Pandas, добавляющее асинхронную поддержку в map, apply, applymap, aggregate и transform.

🔹Ключевые возможности:

🔘Полностью совместим с Pandas — просто замените import pandas as pd на import aiopandas as pd.

🔘Автоматическое асинхронное выполнение с управляемой конкуренцией (max_parallel).

🔘Встроенная обработка ошибок — можно настроить поднятие исключений, игнорирование или логирование.

🔘Поддержка tqdm для отслеживания прогресса в реальном времени.

🔻Пример:

import aiopandas as pd
import asyncio

df = pd.DataFrame({'x': range(10)})  # Пример DataFrame

async def f(x):
    await asyncio.sleep(0.1 * x)  # Симуляция асинхронных операций
    return x * 2  

df['y'] = await df.x.amap(f, max_parallel=5)  # Асинхронное преобразование
print(df)

✅Теперь обработка данных выполняется асинхронно с контролируемым параллелизмом!

#Python #Pandas #aiopandas #AsyncIO #BigData #DataScience #ParallelProcessing #AsyncProgramming

📱Ссылка на репозиторий:
https://github.com/telekinesis-inc/aiopandas

📱PyFunctional.

PyFunctional — мощная Python-библиотека для работы с потоками данных в функциональном стиле!

🔹Возможности:

🔘Цепочки операций: seq(1, 2, 3).map(...).filter(...).reduce(...).

🔘Поддержка чтения/записи файлов: text, csv, json, jsonl, sqlite, сжатые форматы.

🔘Параллельное выполнение через pseq.

🔘Полное покрытие тестами и стабильный CI.

🔘Вдохновлена Scala, Apache Spark и LINQ.

#Python #PyFunctional #DataPipeline #FunctionalProgramming #BigData #DataProcessing #SQLite #Pandas #DataEngineering #PythonTips #OpenSource #DevTools

📱Ссылка на репозиторий:
https://github.com/EntilZha/PyFunctional

📱FastLanes.

FastLanes — это сверхбыстрый, независимый от внешних библиотек формат хранения табличных данных с открытым исходным кодом и поддержкой Python, C++ и Rust.

🔹Особенности:

🔘Без зависимостей, полностью автономен.

🔘SIMD-дружественный (но без ручных SIMD-инструкций).

🔘40% лучшее сжатие по сравнению с Parquet.

🔘Чётко описанная структура формата + типизированное API.

🔘Официальная документация и публикации в PVLDB, SIGMOD, DaMoN.

🔻Пример:

import pyfastlanes

conn = pyfastlanes.connect()
conn.inline_footer().read_csv("data/csv_dir").to_fls("data.fls")

reader = conn.read_fls("data.fls")
reader.to_csv("decoded.csv")

#FastLanes #BigData #Compression #ParquetAlternative #Python #Rust #Cplusplus #DataEngineering #OpenSource #GPU #SIMD #DataProcessing #SIGMOD #VLDB #CSV #FLS #Разработка #Производительность #НаучныеИсследования

📱Ссылка на репозиторий:
https://github.com/cwida/FastLanes

📱Datanomy.

Datanomy - это консольная утилита для изучения "анатомии" ваших столбцевых (columnar) файлов данных.

Она предоставляет удобный интерактивный интерфейс прямо в терминале для просмотра структуры, метаданных и внутренней организации ваших файлов. На данный момент инструмент поддерживает работу с форматом Parquet.

🔹Основные возможности при просмотре Parquet:

🔘Общая структура файла.
🔘Схема (Schema).
🔘Предпросмотр самих данных (Data).
🔘Метаданные (Metadata).
🔘Статистика (Stats).

🔧Установка:

Через современный пакетный менеджер uv:

uv tool install datanomy

или через классический pip:

pip install datanomy

🐱Использование:

datanomy data.parquet

Если не хотите устанавливать пакет глобально, можно запустить на лету (через uvx):

uvx datanomy data.parquet

✅Инструмент написан на Python с использованием мощных библиотек Textual и PyArrow.

#Datanomy #Python #DataEngineering #DataScience #Parquet #CLI #OpenSource #Терминал #BigData

📱Ссылка на репозиторий:
https://github.com/raulcd/datanomy