📱Sqlfluff.

SQLFluff — это гибкий и настраиваемый SQL линтер(автоматизированный процесс анализа кода и поиска потенциальных ошибок), поддерживающий различные диалекты.

✅SQLFluff автоматически исправляет большинство ошибок линтинга, позволяя вам сосредоточиться на действительно важных задачах.

❗️Хотя SQL довольно последователен в своих реализациях, существует несколько диалектов с различиями в синтаксисе и грамматике. SQLFluff в настоящее время поддерживает множество диалектов SQL (возможно, не в полном объёме).

#SQLFluff #SQL #Python #Линтер #Linter #Программирование #БазыДанных #Диалект #БД

📱Ссылка на репозиторий:
https://github.com/sqlfluff/sqlfluff

📱Preswald.

Preswald — это полнофункциональная платформа для построения, развертывания и управления интерактивными приложениями для работы с данными. В одном мощном SDK объединены загрузка, хранение, трансформация и визуализация данных.

🔹Особенности:

🔘Простота кода — мощные приложения с минимальным Python и SQL.

🔘Полный цикл — от загрузки и ETL до визуализации в одной платформе.

🔘Эффективность — без лишней сложности современных дата-стеков.

🔘Гибкость — подключение CSV, JSON, Parquet и SQL-баз за секунды.

🔘Кастомизация — изменяйте стиль и бренд через preswald.toml.

🔘Запуск в один клик — развертывание локально и в облаке за пару команд.

🔻Начало работы:

1️⃣Установите Preswald:

pip install preswald

2️⃣Создайте новый проект:

preswald init my_project
cd my_project

3️⃣Напишите первое приложение:

from preswald import text, view
import pandas as pd

text("# Добро пожаловать в Preswald")
df = pd.read_csv("data.csv")
view(df)

4️⃣Запустите приложение:

preswald run hello.py

#Preswald #Python #DataScience #SQL #MachineLearning #Cloud #ETL #NoCode #LowCode #BigData

📱Ссылка на репозиторий:
https://github.com/StructuredLabs/preswald

📱drawDB.

drawDB — бесплатный и интуитивно понятный редактор схем БД и генератор SQL.

🔹Ключевые особенности:

🔘Простое и удобное создание диаграмм сущностей прямо в браузере.

🔘Экспорт SQL-скриптов за пару кликов.

🔘Гибкая настройка редактора без необходимости регистрации.

#Database #SQL #DBER #drawDB #WebTools #Programming

📱Ссылка на репозиторий:
https://github.com/drawdb-io/drawdb

📱SQL-tString.

SQL-tString — это библиотека для безопасного написания SQL-запросов через t-строки в Python
Позволяет писать читаемые SQL-запросы в духе f-строк, но без риска SQL-инъекций.

🔹Пример:

from sql_tstring import sql
a = 42
query, values = sql(t"SELECT * FROM users WHERE id = {a}")
→ query = "SELECT * FROM users WHERE id = ?"
→ values = [42]

❓Что умеет:
🔘Безопасная подстановка переменных.

🔘Контекст колонок и таблиц: sql_context(columns=…, tables=…).

🔘Условные параметры: Absent, IsNull, IsNotNull.

🔘Разные диалекты: qmark, $, asyncpg.

🔘Работает с Python ≥ 3.12, даже без поддержки t-строк.

#Python #SQL #tstring #SQLInjection #PEP750 #Python314 #OpenSource #PythonTools

📱Ссылка на репозиторий:
https://github.com/pgjones/sql-tstring

📱Coffy.

Coffy — это лёгкая embedded-база данных на чистом Python.

✅Поддерживает NoSQL, SQL и Graph модели — всё в чистом Python.

✅Идеально для быстрых прототипов, скриптов и локальных приложений.

🔹Возможности:

🔘Локальное хранение (JSON, SQLite).

🔘In-memory режим (:memory: или None).

🔘Без сервера, всё работает локально.

🔘Логические и сравнительные операторы.

🔘Единый интерфейс запросов.

🔘CLI из коробки.

🔻Engines:

🔘coffy.graph → локальная графовая база (на базе NetworkX).

🔘coffy.nosql → документное хранилище с chainable-запросами.

🔘coffy.sql → тонкая обёртка над SQLite.

#Coffy #Python #Database #NoSQL #SQL #GraphDB #SQLite #EmbeddedDB #LocalFirst #DataScience #OpenSource

📱Ссылка на репозиторий:
https://github.com/nsarathy/coffy

📱Onlymaps.

Onlymaps — лёгкая Python-библиотека (micro-ORM) для работы с базой данных через обычные SQL-запросы.

❓Что делает:

🔘Позволяет писать чистый SQL, при этом автоматически мапит результаты в Python-объекты.

🔘Поддержка синхронного и асинхронного выполнения запросов.

🔘Типизация и валидация через Pydantic.

🔘Работает с PostgreSQL, MySQL, MariaDB, MS SQL Server и SQLite.

🔘Поддержка connection pooling для многопоточных приложений.

🔘Удобные обёртки для JSON и bulk-запросов.

🔘Простое управление транзакциями через контекстный менеджер.

🔻Пример использования:

from onlymaps import connect
from pydantic import BaseModel

class User(BaseModel):
    name: str
    age: int

with connect("postgresql://user:pass@localhost:5432/mydb") as db:
    users: list[User] = db.fetch_many(User, "SELECT name, age FROM users")

🔹Особенности:

🔘Можно использовать как обычные типы Python (tuple, dict) или модели Pydantic для маппинга.

🔘Контейнеры (tuple, list, set) для данных без имён колонок.

🔘Модели (dict, dataclass, BaseModel) для сохранения структуры и валидации.

🔘Полная поддержка транзакций и безопасное выполнение bulk-запросов.

#Python #ORM #SQL #Pydantic #PostgreSQL #MySQL #SQLite #AsyncPython #MicroORM #DatabaseTools

📱Ссылка на репозиторий:
https://github.com/manoss96/onlymaps

📱Text2SQirreL.

Text2SQirreL — это открытый локальный Text2SQL‑асистент, который переводит ваши вопросы на обычном английском в исполняемые SQL‑запросы к реальным данным. Он построен на дообученных маленьких моделях Qwen3 (4B и 0.6B), которые благодаря дистилляции от большого DeepSeek‑V3 дают качество уровня «старшего» LLM, но запускаются прямо на ноутбуке без облаков и API‑ключей.

🔹Основные особенности:

🔘Локально и приватно: модели работают через Ollama/llama.cpp, данные остаются на вашей машине, подключение к облаку не требуется.

🔘Маленький размер → высокая скорость: 4B‑модель в 4‑битном GGUF весит ~2.5GB и запускается на большинстве ноутбуков без GPU.

🔘Качество уровня больших LLM: дистиллирована с DeepSeek‑V3, поддерживает SELECT/WHERE, JOIN, GROUP BY, подзапросы и другие конструкции SQLite‑совместимого SQL.

🔘Простая интеграция: утилита, которая загружает ваши CSV в SQLite, принимает вопрос на английском, генерирует SQL, выполняет его и показывает результат (можно вывести запрос флагом --show-sql).

🔘Гибкость по размерам: 4B‑модель для максимальной точности и 0.6B‑вариант для edge/мобилок и совсем ограниченных сред.

🐱Установка и запуск:

1. Ставите Ollama по инструкции на сайте проекта.
2. Создаёте виртуальное окружение и ставите зависимости:
python -m venv .venv
. .venv/bin/activate
pip install huggingface_hub openai pandas.
3. Скачиваете 4‑битную 4B‑модель (~2.5GB) и собираете её для Ollama:
huggingface-cli download distil-labs/distil-qwen3-4b-text2sql-gguf-4bit --local-dir distil-model
cd distil-model
ollama create distil-qwen3-4b-text2sql -f Modelfile
cd ...
4. Запускаете Text2SQL, указав свой CSV и вопрос на английском:
python app.py --csv example_data/employees.csv --question "How many employees are in each department?".

#AI #LLM #Text2SQL #Ollama #Qwen3 #DeepSeek #DataAnalytics #SQL #datatools #privacy #opensource #Python

📱Ссылка на репозиторий:
https://github.com/distil-labs/distil-text2sql

📱Flowfile.

Flowfile - это инструмент для визуального построения ETL-пайплайнов, который компилируется в высокопроизводительный код на Polars.

Главная идея проекта — стереть грань между визуальным no-code/low-code и классической разработкой: визуальный холст (canvas) с нодами и Python-код являются двумя синхронными представлениями одного и того же графа вычислений.

Flowfile работает без тяжелых кластеров (вроде Apache Spark): все преобразования выполняются in-process на базе Polars, утилизируя ресурсы одной машины на максимум.

🔹Ключевые возможности:

🔘Холст + Код (Dual-Mode):

✔️49 готовых типов узлов: джойны, нечеткое сопоставление (fuzzy matching), сводные таблицы (pivot), оконные функции, агрегации, древовидное разворачивание (bill-of-materials explosion) и ветвление.

✔️Редактор формул с 95 встроенными функциями.

✔️Узел произвольного Polars-кода для специфической логики, не покрытой стандартными блоками.

✔️Живое интерактивное превью данных (Live Data Preview) на каждом этапе пайплайна.

🔤Генерация чистого Python-кода: Вы можете быстро спроектировать логику визуально, а затем экспортировать её в лаконичный независимый скрипт на чистом Polars (import polars as pl) без необходимости тащить Flowfile на прод. Графы сохраняются в человекочитаемом YAML для версионирования в Git.

🔤Встроенный AI-ассистент: Позволяет генерировать и модифицировать структуру пайплайна прямо на холсте по текстовому описанию задачи (поддерживаются ключи OpenAI, Anthropic, Google, Groq, OpenRouter или локальная Ollama).

🔤Каталог данных на Delta Lake и SQL: Встроенный каталог таблиц с поддержкой версионирования, Time Travel и предикатного пушдауна (pushdown) в виртуальных таблицах. Для исследовательской работы есть встроенный SQL-редактор (Polars SQLContext) и модуль визуализации графиков Graphic Walker (аналог Tableau).

🔤Источники и коннекторы: Локальные файлы (CSV, Parquet, Excel, JSON), СУБД (PostgreSQL, DuckDB, MySQL, SQLite, SQL Server), облачные хранилища (S3, GCS, ADLS с поддержкой Delta Lake и Iceberg на чтение), Kafka (consumer) и внешние REST API.

🔤Запуск в любом окружении:

✔️В браузере: мгновенная работа через WebAssembly / Pyodide на demo.flowfile.org без установки и сервера;

✔️Локально на ноутбуке: установка в одну команду через pip или готовые десктопные приложения (Tauri);

✔️В команде: развертывание через Docker Compose с авторизацией, ролями пользователей, общим каталогом, планировщиком задач (scheduler) и изолированными Jupyter-подобными Python-кернелами.

💻Пример кода на Python:

Вы можете описать пайплайн кодом через API в стиле Polars и в один вызов открыть его в визуальном редакторе:

import flowfile as ff
from flowfile import col, open_graph_in_editor

# Загрузка и трансформация данных
df = ff.from_dict({
    "category": ["A", "B", "A", "C", "B"],
    "value": [100, 200, 150, 300, 250]
})

result = (
    df.filter(col("value") > 150)
      .with_columns((col("value") * 2).alias("double_value"))
      .group_by("category")
      .agg(col("value").sum().alias("total"))
)

# Открытие собранного графа в визуальном интерфейсе
open_graph_in_editor(result.flow_graph)

🚀Быстрый запуск:

Установка и запуск UI на локальной машине (Python 3.10–3.13):

pip install Flowfile
flowfile run ui

Командный запуск в Docker Compose:

git clone https://github.com/edwardvaneechoud/Flowfile.git
cd Flowfile
docker compose up -d
# Веб-интерфейс будет доступен по адресу http://localhost:8080

✅Проект распространяется под свободной лицензией MIT.

#Flowfile #Python #Polars #ETL #DataEngineering #DataScience #SQL #DeltaLake #DuckDB #OpenSource #DevTools #DataPipelines

📱Ссылка на репозиторий:
https://github.com/Edwardvaneechoud/Flowfile