Новая версия 1.7.0 утилиты undatum для обработки данных с командной строки включая поддержку форматов данных с вложенными структурами такие как JSONL (NDJSON), Parquet, Avro и более 140 других.

Ключевые изменения:
- появился текстовый интерфейс TUI для интерактивной работы с данными. Вызывается как undatum tui <название файла>
- появился веб интерфейс для для просмотра данных. Пока незавершенный, в экспериментальном режиме. Вызывается как undatum web <название файла>
- убраны опции запросов к данным через язык MistQL, вместо него можно использовать синтаксис SQL от DuckDB
- большая синхронизация с опциями и функциями библиотеки iterabledata, в первую очередь в части развертывания вложенных структур, например, для обращения к данным как capital_city.lat где lat - это вложенное поле в структуре capital_city
- множество изменений поменьше

#opensource #datatools #data #dataengineering

Полезные ссылки про данные, технологии и не только:
- ClickBench playground рассказ о том как устроен сервис запросов к более чем сотне разных баз данных используемых в бенчмарке ClickBench. И сам бенчмарк очень интересный как сравнение многих СУБД, и игровая площадка полезная
- A Preview of DuckDB v2.0 изменения в DuckDB, то что войдет в версию 2.0. Ключевое это новый парсер SQL, новый формат хранения, серверный вариант, ускорение запросов и еще много всего.
- fx кодирующий агент ориентированный на исследования и встраивание
- Cursor Origin хостинг кода от Cursor'а. Очень логичный шаг, странно что только они из кодирующих агентов такое начали. Думаю что остальные подтянутся. Альтернативы Github'у - это хорошо. А вот складывать все яйца в одну корзину лучше не надо.

#opensource #ai #databases

Много, очень много документации лишней не бывает. Я собрался и актуализировал документацию по разным инструментам. Без ИИ ассистентов делать такое почти невозможно, ибо заставить себя документировать сложно. А документация нужна и для людей и для ИИ агентов которые ее используют.

Итак вот тут документация на разные открытые инструменты о которых я тут часто писал:
- internacia-db - база данных в виде дата продукта по странам и межгосударственным организациям
- iterabledata - универсальная библиотека для Python для унифицированного чтения из 100+ видов дата файлов
- undatum - инструмент командной строки, швейцарский нож для работы с данными причем не только с табличными, а такими как JSONL, Parquet и тд. Поддерживает более 140 форматов файлов и помогает анализировать, конвертировать и преобразовывать файлы с данными
- newsworker - утилита и библиотека по извлечению RSS, Atom и JSON новостных лент из HTML с сайтов где нет своих новостных лент в структурированном виде
- filerepack - утилита переупаковки файлов без потерь содержания и фунциональности. Умеет пересжимать слабо сжатые файлы, сжимать файлы внутри контейнеров, сжимать сами контейнеры, поддерживает изображения, файлы архивов, файлы с данными и так далее.
- qddate - библиотека для Python для быстрой идентификации и парсинга дат
- metacrafter - инструмент автоматической идентификации семантических типов данных в файлах с данными и СУБД. Умеет экспортировать результаты для загрузки в дата каталоги
- metawarc - утилита для индексации и работы с WARC файлами современными методами. Преобразует данные WARC в файлы Parquet и умеет извлекать метаданные вложенных в WARC файлов
- apibackuper - утилита извлечения и архивации данных извлекаемых из API. Изначально делалась для задач архивации, реально применяется для всех задач автоматизации извлечения данных из API
- datacrafter - очень простой NoSQL ETL инструмент использующий наработки iterabledata и и ориентированный на работу с JSONL и подобными данными

У меня скорее хобби поддерживать эти инструменты, ну и многие интегрированы в продукты и проекты которые без открытого кода. Хорошо что поддержание их стало очень простым благодаря применению кодирующих ИИ агентов.

А документация поможет тем кто хотел бы узнать больше о том как они работают и для чего применимы.

#opensource #datatools #dataengineering

Все регулярнее читаю тексты которые можно описать как "Открытому коду конец" иногда прямо так и называющиеся. Не буду предсказывать за весь открытый код, но кое что можно сформулировать. Многие код перестанут открывать и что-то закроют потому что пропали две ключевых причины почему многие компании/корпорации код выкладывали:
1) Получить бесплатных контрибьютеров в продукт
2) Получить бесплатный анализ безопасности и выявления ошибок

Теперь контрибьюторами будут ИИ агенты и они же будут делать проверки безопасности. Так зачем открывать код? Не, есть и другие причины вроде построения сообщества, прозрачности деятельности, идеологии и тд. Но они имеют меньшее влияние.

#opensource #thoughts

Полезные ссылки про данные, технологии и не только:
- mnemiq - текст-в-SQL движок с открытым кодом и подробным рассказом почему его сделали, как он устроен и чем отличается от ранее существующих. Если кратко, то создатели сфокусировались на разных SQL диалектах и преодолении ограничения в 30 таблиц у движка Genie от Databricks. Полезно для всех кто работает с большими корпоративными хранилищами данными, сложно устроенными и с большим числом таблиц.
- Pandas Should Go Extinct текст где автор рассуждает о том что давно уже не надо использовать Pandas в разработке и аналитике потому что альтернативы Polars и DuckDB лучше настолько что непонятно почему ими не пользуются.
- Tau ещё один терминальный кодирующий агент, пока не могу сказать чем он лучше других, но он есть и его можно попробовать
- Cline Desktop настольное приложение для запуска моделей с открытыми весами. Обещают много разного полезного и есть версии для Mac и Windows. С открытым кодом
- OpenResearch параллельно работающие исследовательские агенты в локальном окружении. Приложение для Windows и Mac, с открытым кодом. По мне так в описании маловато кейсов описано

#opensource #ai #tools #data

Яндекс выпустил AliceAI-Foundation-80B-A3B-Base базовую языковую модель с открытыми весами и акцентом на лучшую поддержку русского языка.

Пишут что модель была обучена полностью с нуля и приводят множество результатов бенчмарков в сравнении с:
- Qwen3.5-35B-A3B-Base
- GLM-4.5-Air-Base (106B-A12B)
- Nemotron-3-Super-120B-A12B-Base
- DeepSeek-V4-Flash-Base (284B-A13B)

Это хорошая новость, больше открытых моделей, больше конкуренции!

Важно чтобы релизов было больше, потому что конкуренты работают очень быстро выпуская новые модели чуть ли не еженедельно.

#ai #opensource #yandex

Полезные ссылки про данные, технологии и не только:
- Search минималистичный браузер на базе WebKit для MacOS. Всего 3MB футпринт и почти мгновенный запуск.
- Why SQL won интервью с создателем DuckDB о том почему SQL побеждает (победил?) альтернативные подходы к хранению и доступу к данным.
- Open Code Review от команды Alibaba для автоматического ревью кода по правилам и с помощью ИИ агентов. Большая пользовательская база, плагины для множества сред и
- В Китае расширили ограничения на выезд на семьи топовых ИИ спецов даже не знаю как это комментировать. Вот если, к примеру, в России это еще не внедрели значит ли это что в России полноценной ИИ индустрии нет и топовых спецов в мировом понимании не осталось? А если остались то где их реестр? Можно уже анекдоты придумывать на тему "если ты такой умный то почему тебе еще выезд не запретили?"

#opensource #ai #sql #dataengineering

Полезные ссылки про данные, технологии и не только:
- Diving Through Data at OpenAI: How a Data Agent Navigates 70,000 Datasets видео с конференции Rows&Columns о том как устроен внутренний ИИ агент к данным более чем 70 тысяч наборов данных и более 600 петабайт обрабатываемых ежесуточно
- Microsoft, Google back Apache Ossie to make enterprise data and AI platforms more interoperable время новых стандартов для обмена данными, впрочем Ossie не то чтобы сильно новый, но похоже что активно внедрямый
- I Quit OpenAI Because Its Culture Is Broken (очередной) чувак ушел из OpenAI и рассказывает о том что AI бигтехам надо больше внимания уделять безопасности. Похоже что рассуждения в этом жанре нас ждут ещё не один раз
- Introducing Web Search API via AI Gateway Cloudflare сделали универсальное API для веб поиска через сервисы Ceramic.ai, Exa, и Linkup. Вообще к Cloudflare стоит присмотреться к их текущим и грядущим продуктам, они явно играют создание универсальной инфрасируктуры для ИИ инструментов и агентов и имеют хорошие шансы занять большие и малые ниши в этой области.

#opensource #ai #data #search

Я почти год назад писал про инструмент с открытым кодом filerepack для пересжатия файлов. Это такой мой очень давний пэт проект, порожденный изначально необходимостью регулярно пересжимать какие-то файлы потому что базовые инструменты слишком часто делали их чрезмерно большими их можно было пересжать в 1.5-2 раза без потери функционала, то есть без необходимости распаковки перед тем как использовать. Живой пример - это все файлы в современных форматах MS Office OOXML - .docx, .xlsx, .pptx и все из этого семейства. Во первых все версии MS Office сжимают ZIP контейнер, которыми эти форматы являются, довольно плохо и просто распаковать файл и запаковать с максимальным сжатием уже давало результат. Во вторых большая часть изображений в этих файлах поддаются эффективному сжатию без потерь и могут уменьшиться в диапазоне 10-75% и итоговый файл уменьшится весьма существенно.

Как бы то ни было этот инструмент я делал давно и в нем было одно существенное ограничение - это то что старые форматы файлов MS Office (.doc, .xls, .ppt и др.) такому пересжатию не поддавались. Причина в том что они и ряд других форматов файлов придуманных Microsoft имели в своей основе Compound File Binary Format к которому есть очень ограниченное число открытых реализаций и большая их часть только на просмотр двоичных потоков внутри и не более того.

При этом у меня в архивах файлов в этих старых форматах MS Office накопилось немало, всегда хотелось их пересжать. И тут я подумал, а почему бы не попробовать и скормил подробное ТЗ в Claude Code с помощью которого в итоге собрал версию которая умеет пересжимать теперь еще и эти файлы. Это было непросто, для пересжатия используется анализатор OLE файлов в виде Python кода и пересборщих в виде кода на Rust поскольку только в Rust'е есть реализация кроссплатформенной библиотеки записи Compound файлов.

В итоге filerepack начиная с последней версии 0.4.0 умеет пересжимать основные старые форматы MS Office .ppt, .xls, .doc и это самое большое и самое сложное изменение в инструменте с момента его создания. Остальные правки по мелочи - поддержка большего числа форматов использующих ZIP как контейнер, поддержка большего числа файлов с данными и тд. Подробнее есть в документации включая примеры, руководства и так далее.

Отвечая на важный вопрос "А зачем?" который очень важно задавать и другим и, обязательно, себе. Казалось бы цена хранения файлов снижается и нет нужды лишний раз заморачиваться еще и сжатием контента. Это и так и не так.

Во первых многие файлы хранятся в облачных файловых хранилищах которые могут менять условия и стоимость хранения и с легкостью забиваются однотипными/похожими файлами и в этом случае лучше положить туда пересжатую версию этого файла и сэкономить на лишних расходах.

Во вторых многие личные архивы хранятся в криптоконтейнерах. Например, я лично ничего из личной чувствительной информации не храню просто на дисках и складываю файлы в криптоконтейнеры ограниченного размера. У этого есть ряд плюсов для параноиков, но есть и минус, там нет динамического увеличения размера по мере наполнения файлами. Место надо предвыделить и если еще и этот криптоконтейнер где содержимое часто меняется и его надо бэкапить то чем меньше он тем лучше. Тут то вопрос про сжатие файлов становится актуальным, но так чтобы без потери функциональности.

Есть и множество других кейсов использования, а это мои личные.

Поддержка файлов в старых форматах MS Office всё еще экспериментальна, если надумаете ее попробовать и столкнетесь с ошибками, пишите мне, лучше всего в issues на Github. Там же можно писать если какие-то популярные форматы есть и еще не поддерживаются или их рекомпрессия работает с ошибками.

Вообще же не могу вспомнить периода жизни когда я что-то не архивировал. Начиная с первых жестких дисков на 10МБ, дискетами на 360КБ. Все моё детство состояло из попыток что-то куда-то сжать чтобы не удалять потому что места всегда нехватало. Насколько проще стало все сейчас, но всегда найдется чем занять любые объемы хранения, так что сжимать файлы всегда актуально;)

#opensource #compression #data

Полезные ссылки про данные, технологии и не только:
- Earth Observations and Machine Learning for Gridded Macroeconomic Data научная статья от группы исследователей из IMF с рассказом про результаты сопоставления официальной муниципальной статистики США и Канады и данных спутникового наблюдения, включая данные по уровню освещенности, уровню застройке, чем покрыта поверхность и так далее. Полезно для всех кто ведет экономические исследования и проверяет сопоставимость официальных и альтернативных данных
- License-only versus Stewarded Open Source рассуждения Dries Buytaert, основателя open source проекта Drupal о том что такое "курируемый проект с открытым кодом" и чем он отличается от просто кода в режиме "вот вам по открытой лицензии и делайте что хотите".
- LakeSail замена Apache Spark переписанная на Rust, как следствие быстрее и без доп нагрузки в виде JVM. Сохраняет Spark совместимое API так что миграция должна быть дешевле чем на другие инструменты.
- helixfoundry инструмент для превращения документов и баз знаний внутри компании в связанную онтологию и подключения ИИ агентов. Работает на базе HelixDB и DuckDB. По мне так документации там недостаточно чтобы хорошо понять возможности, но в плане попробовать может быть интересно.

#opendata #opensource #dataengineering #ai

Weather Ribbon (Погодная лента?) любопытная визуализация среднемесячной температуры по городам на основе данных за 1991-2020 годы.

На сайте охват городов не такой уж большой, в основном развитые страны и крупные города. К примеру, Алматы там есть, а Еревана нет.

Но интереснее сам подход к визуализации, она доступна с открытым кодом под MIT лицензией и можно применить то же самое к визуализации чего-либо ещё: уровня осадков, качества воздуха и так далее.

А сам сервис работает на открытых данных NASA MERRA-2 и Open Meteo.

#opendata #opensource #dataviz

В рубрике как это устроено у них Free Law Project открытый агрегатор юридических данных в США. Охватывает базы судебных решений и всего что с ними связано. Предоставляют данные для массовой выгрузки, через API. Существуют в форме НКО с общей выручкой около $1-1.5 миллиона, львиная часть которой это услуги предоставления данных и их обработки для коммерческих компаний. Общий объём данных измеряется в терабайтах структурированных данных распространяемых, преимущественно, в виде сжатых CSV файлов и API. Также распространяют набор инструментов с открытым кодом для работы с этими данными.

#opensource #opendata

Полезные инструменты с открытым кодом для работы с данными и не только:
- DashBeam инструмент быстрой передачи файлов большого размера между двумя компьютерами. Использует пиринговые сети и QUIC via Iroh. Ранее назывался AltSendMe, но автор недавно проект переименовал. Распространяется под GNU Affero GPL
- Plexo инструмент для быстрой выгрузки файлов использующий все подключенные каналы связи. Тоже открытый код, лицензия MIT.
- REA (Reverse Engineering Anything) набор инструментов с открытым кодом для агентского реверс инжиниринга. Один из символов рисков рынка классического ПО которое часто проще подвергнуть разбору и сборке нового с нуля, чем платить за софт по подписке. Под лицензией MIT
- XERJ поисковик по коду, текстам и данным, но для ИИ агентов. Обещает серьезное сокращение расхода токенов. Лицензия Apache 2.0
- Heretic инструмент снятия цензуры с открытых LLM. Инструмент давний, но от этого менее актуальным он не становится. Лицензия GNU Affero GPL

#opensource #datatools #ai

Полезные ссылки про данные, технологии и не только:
- APM – Agent Package Manager новая система управления пакетами/зависимостями от Microsoft, ориентированная на применение агентами. Скоро все системы управления пакетами будут преимущественно для ИИ агентов, потому что те по нарастающей используются для установки ПО
- Google Earth AI Geospatial Reasoning Agent: Capabilities and a Systematic Evaluation препринт статьи от Google Research о том как устроены их ИИ агенты для работы с геоданными на примере Google Earth.
- Polars 2.0 on NVIDIA Vera CPU очередные метрики сравнения работы Polars, DuckDB, DataFusion. На сей раз на базе компьютера NVIDIA Vera. Polars 2.0 уже сильно лучше выглядит по производительности да и раньше было неплохо, но сама конфигурация мне представляется странной. Бенчмарки ClickBench мне нравятся больше и они универсальнее, но и это любопытно

#opensource #ai #datatools #geodata

Полезные ссылки про данные, технологии и не только:
- Introducing Clairic, a new System One class of extraction models новая модель от Cloudflare, обещают что она может быстрее, лучше и дешевле извлекать структурированные данные из неструктурированных и лучше прогнозирует данные во временных рядах. Не открытая модель, но доступная через API Cloudflare
- Diffusion at Scale: Introducing Mercury 3 новая модель Mercury 3 заточенная под высокую скорость и с качеством сравнимым с GPT-6 Luna (Medium). Доступна только через API
- Frisket ИИ инструмент работы с табличными данными для расследователей журналистов. Главная фишка в privacy first дизайне и ориентации на работу с локальными моделями по умолчанию, но есть и другие варианты. Выглядит так как мог бы выглядеть OpenDataEditor если бы им занимались прямые руки. Открытый код, лицензия Apache 2.0
- The Agentic Analytics Benchmark, round two: GPT-6, Claude Opus 5.5, Claude Sonnet 5.5 у команды Clickhouse одна из лучших команд по бенчмаркам и тот случай технического маркетинга когда есть что почитать. В этот раз у них обзор применения LLM к агентской аналитике. Полезный бенчмарк

#opensource #ai #dataengineering

Про обновление инструментов работы с данными. Я чаще всего в работе использую собственный инструментарий для работы с данными, я регулярно писал раньше про эти инструменты и продолжаю их обновлять.

- iterabledata библиотека для Python для универсального чтения и записи любых итеративных файлов и источников с данными (CSV, JSON, JSONl, AVRO, Parquet) и более сотни более редких и подключения к СУБД, вышел релиз 1.1.0 с множеством исправлений и существенным ускорением чтения и записи наиболее популярных форматов файлов. В документации много примеров, а сам инструмент более всего годится когда надо работать с форматами данных которые хочется обрабатывать как JSON или CSV, а для этого надо писать преобразующий код. По охвату форматов ее уже можно почти не расширять, а ускорять есть куда и вот это обновление про ускорение.

- undatum утилита командной строки для всяческих преобразований и анализа данных как в простых и плоских форматах, так и в сложных и иерархичных. Новая версия 2.0.0 включает много обновлений ускоряющих работу, для тех форматов и операций где это возможно используется движок DuckDB даже более чем раньше, а там где такой возможности нет используется iterabledata с учетом последних изменений и оптимизаций, плюс реализован механизм кеширования, плюс много разных других изменений. В документации много примеров использования и подробнее про производительность. Для меня это как полноценный швейцарский нож для работы с данными,

- apibackuper изначально это инструмент архивирования содержимого API, последовательно обходящий по страницам и сохраняющий результаты локально как первичные данные и умеющих экспортировать уже в нужный формат. Работает по спекам описываемым в YAML файле. В новой версии 3.0,0 много исправлений и добавление ряда фич включая возможность выгрузки из API где навигация идет через курсор, ссылки в полях вроде вроде next_url. А также поддержка OAuth2 и уменьшение потребления памяти при скачивании файлов. Я использую этот инструмент для архивации разного рода дата порталов, но можно применять и в задачах скрейпинга данных тоже конечно

#opensource #opendata #datatools